Die neuen KI-Engines von Google können zoomen und verbessern, genau wie im Film
Sie wissen, wie es in Filmen ist, wenn ein Bild auf dem Computer ist und der Detektiv, der neben The Guy In The Chair steht, sagt: „Können Sie das Nummernschild vergrößern und verbessern ?” Diese Technologie ist jetzt dank der neuesten KI von Google real Motoren.
Der Prozess dafür ist äußerst komplex und schwer zu meistern, da sie auf Diffusionsmodellen (und einiger ernsthaft fortgeschrittener Mathematik) basieren und daran arbeiten, Details zu einem Bild hinzuzufügen, die ursprünglich nicht vorhanden waren. Dies geschieht durch Vermutungen unter Verwendung ähnlicher Bilder und ist eine Technik, die Google als natürliche Bildsynthese und in diesem Fall als Bildsuperauflösung bezeichnet.
Offensichtlich beginnen Sie mit einem kleinen und pixeligen Bild (wie die Bilder auf der linken Seite jedes der obigen Bildersätze) und erhalten am Ende ein Bild mit viel höherer Auflösung, das nicht nur schärfer aussieht, sondern sogar für das menschliche Auge echt erscheint wenn es nicht 100% genau mit dem Original übereinstimmt. Um die Arbeit zu erledigen, verwendete Google zwei neue KI-Tools: Super-Resolution via Repeated Refinement (SR3) und Cascaded Diffusion Models (CDM).
Die erste, SR3, fügt einem Bild Rauschen hinzu (dies sieht ähnlich aus wie das Rauschen oder Schnee, den Sie auf einem Fernsehbildschirm sehen, wenn das Signal schwach ist), und kehrt dann den Vorgang um. Es verwendet eine große Datenbank mit Bildern und eine Reihe von Wahrscheinlichkeitsberechnungen, um zu ermitteln, wie eine Version des Bildes mit niedriger Auflösung aussieht, auf die der Google-Forscher Chitwan Saharia hier näher eingeht .
„Diffusionsmodelle funktionieren, indem sie die Trainingsdaten verfälschen, indem sie schrittweise Gaußsches Rauschen hinzufügen, Details in den Daten langsam auslöschen, bis sie zu reinem Rauschen werden, und dann ein neuronales Netzwerk trainieren, um diesen Verfälschungsprozess umzukehren”, erklärte Saharia.
Das zweite Tool, CDM, verwendet „Pipelines”, durch die verschiedene Verbreitungsmodelle (einschließlich SR3) geleitet werden können, um die hochauflösenden Upgrades zu erzeugen. Dieses Tool macht größere Bilder der Verbesserungsmodelle, indem es sorgfältig berechnete Simulationen auf der Grundlage fortgeschrittener Wahrscheinlichkeiten verwendet, über die Google eine Forschungsarbeit veröffentlicht hat .
Das Endergebnis? Als die Forschung den Menschen die fertigen Bilder in einem Test präsentierte, wählten sie, dass die generierten Gesichter in etwa der Hälfte der Fälle mit echten Gesichtern verwechselt wurden. Auch wenn eine Rate von 50 % nicht erfolgreich klingt, entspricht sie doch dem, was wir von einem perfekten Algorithmus erwarten können. Laut Google liefert diese Methode bessere Ergebnisse als andere Bildverbesserungsoptionen, einschließlich generativer gegnerischer Netzwerke, die konkurrierende neuronale Netzwerke verwenden, um ein Bild zu verfeinern.
Google sagt, dass es beabsichtigt, mehr mit diesen KI-Engines und den damit verbundenen Technologien zu tun, über den Bereich der Bildhochskalierung hinaus, wie in anderen Bereichen der Wahrscheinlichkeitsmodellierung. Und während diese „Zoom and Enhance”-Technologie es einfach macht, Dinge wie das Hochskalieren alter Fotos zu tun, hat sie definitiv auch ein unbestreitbares Potenzial, wie z. B. das Vergrößern und Verbessern eines Fotos oder eines Nummernschilds oder irgendetwas anderem.
über Wissenschaftsalarm