Le MIT a développé un algorithme qui supprime les reflets dans les fenêtres des photos

Si vous allez à la fenêtre et essayez de prendre une photo à travers la vitre, il sera difficile d'éviter le reflet de votre propre silhouette. L'objet inutile sera d'autant plus visible que l'espace extérieur à la fenêtre sera sombre. Les photographes professionnels résolvent ce problème en rapprochant l'objectif de l'appareil photo du verre et en appliquant de nombreuses autres techniques, par exemple des filtres polarisants. Mais souvent, seul «l'œil» du smartphone est disponible, ou les options de prise de vue sont limitées, et vous devez supporter la présence de réflexion. Des chercheurs du Massachusetts Institute of Technology ont trouvé une solution algorithmique à ce problème.

L'algorithme sera présenté en juin lors d'une conférence sur la vision par ordinateur et la reconnaissance des formes, mais certains détails sont déjà disponibles . Pour le travail, le fait que les réflexions se répètent plusieurs fois en raison de la structure des fenêtres est utilisé. Sur la base de ce principe, les photographies numériques sont automatiquement nettoyées dans une grande variété de cas.

Selon le premier auteur de l'ouvrage, YiChang Shih, à Boston, les fenêtres à double vitrage sont souvent utilisées pour retenir la chaleur pendant la saison froide. Par conséquent, généralement deux réflexions sont obtenues à partir de chacun des verres. Mais cela ne signifie pas que l'algorithme ne fonctionnera que pour les doubles fenêtres, un verre épais donne également deux reflets: un de l'intérieur, le second de l'extérieur. Sans fournir d'informations supplémentaires sur le deuxième reflet, la tâche de supprimer les éléments inutiles est pratiquement insoluble, car le résultat de la photo est la somme de l'image à l'extérieur de la fenêtre et du reflet dans le verre. Si A + B = C, il sera impossible de restaurer A et B uniquement à partir de C.

La deuxième réflexion fournit les informations nécessaires à la correction d'image. Les valeurs des pixels de réflexion individuels doivent approximativement coïncider, ce qui facilite la recherche de la solution souhaitée, bien que leur nombre reste important. Shi et d'autres co-auteurs du travail - professeurs d'informatique et d'ingénierie informatique Fredo Duran et Bill Freeman (superviseurs scientifiques du travail) et Dilip Krishnan (docteur en sciences qui travaille maintenant à Google Research) - ont ajouté à l'algorithme l'attente que la réflexion et et la vue capturée depuis la fenêtre a des motifs statistiques appelés image naturelle.

On suppose que dans les représentations graphiques inchangées du monde au niveau des groupes de pixels, les changements de couleur nets sont rares, et s'ils se produisent, alors dans des limites claires. Si certains pixels sont la frontière entre les objets bleus et rouges, alors il est prévu que d'un côté l'image aura une teinte bleue, et de l'autre - rouge. Dans le domaine de la vision par ordinateur, cela est généralement réalisé en utilisant le principe du gradient, qui caractérise chaque bloc de pixels par rapport à la direction générale du changement de couleur et à l'intensité de ce processus. Mais Shi et ses collègues ont constaté que cette technique dans ce cas ne fonctionne pas trop bien.



Par conséquent, Daniel Zoran du groupe Freeman et Yair Weiss de l'Université hébraïque de Jérusalem ont créé un algorithme qui divise une image en groupes de blocs de 8 × 8 pixels. Pour chacun des groupes, une analyse a été effectuée à l'aide de 50 000 images d'apprentissage et, sur la base des données obtenues, un moyen fiable de distinguer les réflexions des images à l'extérieur de la fenêtre a été obtenu. Pour tester le travail, Shi et ses collègues ont effectué une recherche sur Google et sur l'hébergement photo Flickr, leur demandant le formulaire «problèmes de réflexion dans la fenêtre sur la photo». Après avoir exclu les résultats qui n'étaient pas des photos dans la fenêtre, 197 images ont été collectées. Parmi ceux-ci, dans 96 cas, le décalage entre les deux images était suffisamment large pour que l'algorithme fonctionne.

Yoav Schechner, professeur de génie électrique au Technion israélien, a déclaré que des tentatives de suppression de ces éléments inutiles dans les photographies avaient été faites auparavant, mais certaines méthodes n'utilisaient qu'une seule réflexion. La tâche était très compliquée et le succès n'était que partiel, il n'existait aucun moyen automatisé de séparer la réflexion de l'image restaurée. Le travail de Shi est une percée sur plusieurs fronts à la fois. Schechner estime que si l'algorithme est affiné au fil du temps, il sera en mesure d'accéder aux packages de traitement de photos numériques populaires et d'aider les algorithmes de vision par ordinateur dans les robots. Les chercheurs ne signalent pas la possibilité d'extraire l'image d'un photographe de la réflexion, mais cette application est probablement possible. Ces derniers peuvent intéresser les forces de l'ordre et les voyants.

L'algorithme sera présenté en juin à Boston lors de la conférence Computer Vision and Pattern Recognition.
_{Images: Massachusetts Institute of Technology .}