Das MIT hat einen Algorithmus entwickelt, der Reflexionen in Fenstern von Fotos entfernt

Wenn Sie zum Fenster gehen und versuchen, ein Foto durch das Glas zu machen, ist es schwierig, die Reflexion Ihrer eigenen Figur zu vermeiden. Je unnötiger das Objekt ist, desto dunkler wird der Raum außerhalb des Fensters. Professionelle Fotografen lösen dieses Problem, indem sie das Kameraobjektiv nahe an das Glas bringen und viele andere Techniken anwenden, beispielsweise Polarisationsfilter. Oft ist jedoch nur das „Auge“ eines Smartphones verfügbar, oder die Aufnahmeoptionen sind begrenzt, und Sie müssen sich mit dem Vorhandensein von Reflexion abfinden. Forscher am Massachusetts Institute of Technology haben eine algorithmische Lösung für dieses Problem gefunden.

Der Algorithmus wird im Juni auf einer Konferenz über Computer Vision und Mustererkennung vorgestellt, einige Details sind jedoch bereits verfügbar . Für die Arbeit wird die Tatsache verwendet, dass Reflexionen aufgrund der Struktur der Fenster mehrmals wiederholt werden. Basierend auf diesem Prinzip werden digitale Fotos in einer Vielzahl von Fällen automatisch gereinigt.

Laut dem Erstautor der Arbeit, YiChang Shih, in Boston, werden in der kalten Jahreszeit häufig doppelt verglaste Fenster verwendet, um die Wärme zu speichern. Daher werden normalerweise zwei Reflexionen von jeder der Gläser erhalten. Dies bedeutet jedoch nicht, dass der Algorithmus nur für Doppelfenster funktioniert. Ein dickes Glas liefert auch zwei Reflexionen: eine von innen, die zweite von außen. Ohne zusätzliche Informationen über die zweite Reflexion ist die Aufgabe, unnötige Elemente zu entfernen, praktisch unlösbar, da das Ergebnis des Fotos die Summe des Bildes außerhalb des Fensters und der Reflexion im Glas ist. Wenn A + B = C ist, ist es unmöglich, A und B nur aus C wiederherzustellen.

Die zweite Reflexion liefert die notwendigen Informationen für die Bildkorrektur. Die Werte der einzelnen Reflexionspixel sollten ungefähr übereinstimmen, und dies erleichtert die Suche nach der gewünschten Lösung, obwohl ihre Anzahl immer noch groß bleibt. Shi und andere Mitautoren der Arbeit - Professoren für Informatik und Computertechnik Fredo Duran und Bill Freeman (wissenschaftliche Leiter der Arbeit) und Dilip Krishnan (Doktor der Wissenschaften, der jetzt bei Google Research arbeitet) - fügten dem Algorithmus die Erwartung hinzu, dass sowohl Reflexion als auch und die aufgenommene Ansicht aus dem Fenster weist statistische Muster auf, die als natürliches Bild bezeichnet werden.

Es wird angenommen, dass in unveränderten grafischen Darstellungen der Welt auf der Ebene von Pixelgruppen scharfe Farbänderungen selten sind, und wenn sie auftreten, dann innerhalb klarer Grenzen. Wenn einige Pixel die Grenze zwischen den blauen und roten Objekten bilden, wird erwartet, dass das Bild auf der einen Seite einen blauen Farbton und auf der anderen Seite einen roten Farbton aufweist. Im Bereich der Bildverarbeitung wird dies üblicherweise nach dem Gradientenprinzip realisiert, das jeden Pixelblock in Bezug auf die allgemeine Richtung der Farbänderung und die Intensität dieses Prozesses charakterisiert. Aber Shi und seine Kollegen stellten fest, dass diese Technik in diesem Fall nicht allzu gut funktioniert.



Daher haben Daniel Zoran von der Freeman-Gruppe und Yair Weiss von der Hebrew University of Jerusalem einen Algorithmus entwickelt, der ein Bild in Gruppen von 8 × 8-Pixelblöcken aufteilt. Für jede der Gruppen wurde eine Analyse unter Verwendung von 50.000 Trainingsbildern durchgeführt, und auf der Grundlage der erhaltenen Daten wurde eine zuverlässige Methode zur Unterscheidung von Reflexionen von Bildern außerhalb des Fensters erhalten. Um die Arbeit zu testen, führten Shi und seine Kollegen eine Suche bei Google und beim Flickr-Fotohosting durch und fragten sie nach dem Formular „Probleme mit der Reflexion im Fenster auf dem Foto“. Nach dem Ausschluss von Ergebnissen, die keine Fotos im Fenster waren, wurden 197 Bilder gesammelt. Von diesen war in 96 Fällen die Verschiebung zwischen den beiden Bildern groß genug, so dass der Algorithmus funktionierte.

Yoav Schechner, Professor für Elektrotechnik am Israeli Technion, sagte, dass bereits zuvor Versuche unternommen wurden, solche unnötigen Elemente in Fotografien zu entfernen, einige Methoden jedoch nur eine Reflexion verwendeten. Die Aufgabe war sehr kompliziert und der Erfolg nur teilweise. Es gab keine automatisierte Möglichkeit, die Reflexion vom wiederhergestellten Bild zu trennen. Shis Arbeit ist ein Durchbruch an mehreren Fronten gleichzeitig. Schechner glaubt, dass er, wenn der Algorithmus im Laufe der Zeit verfeinert wird, in die beliebten digitalen Fotoverarbeitungspakete einsteigen und Computer-Vision-Algorithmen in Robotern unterstützen kann. Forscher berichten nicht über die Möglichkeit, das Bild eines Fotografen aus der Reflexion zu extrahieren, aber diese Anwendung ist wahrscheinlich möglich. Letzteres kann für Strafverfolgungsbehörden und Peeper von Interesse sein.

Der Algorithmus wird im Juni in Boston auf der Konferenz Computer Vision and Pattern Recognition vorgestellt.
_{Bilder: Massachusetts Institute of Technology .}