MIT ha desarrollado un algoritmo que elimina los reflejos en las ventanas de las fotos.

Si vas a la ventana e intentas tomar una foto a través del cristal, será difícil evitar el reflejo de tu propia figura. El objeto innecesario será más notable, más oscuro será el espacio fuera de la ventana. Los fotógrafos profesionales resuelven este problema acercando la lente de la cámara al vidrio y aplicando muchas otras técnicas, por ejemplo, filtros polarizadores. Pero a menudo solo está disponible el "ojo" del teléfono inteligente, o las opciones de disparo son limitadas, y hay que soportar la presencia de reflejos. Investigadores del Instituto de Tecnología de Massachusetts han encontrado una solución algorítmica a este problema.

El algoritmo se presentará en junio en una conferencia sobre visión por computadora y reconocimiento de patrones (Computer Vision y Pattern Recognition), pero ahora hay algunos detalles disponibles . Para el trabajo, se utiliza el hecho de que los reflejos se repiten varias veces debido a la estructura de las ventanas. Según este principio, las fotografías digitales se limpian automáticamente en una amplia variedad de casos.

Según el primer autor del trabajo, YiChang Shih, en Boston, las ventanas de doble acristalamiento a menudo se utilizan para retener el calor en la temporada de frío. Por lo tanto, generalmente se obtienen dos reflejos de cada una de las gafas. Pero esto no significa que el algoritmo funcionará solo para ventanas dobles, un vidrio grueso también da dos reflejos: uno desde el interior, el segundo desde el exterior. Sin proporcionar información adicional sobre el segundo reflejo, la tarea de eliminar elementos innecesarios es prácticamente insoluble, ya que el resultado de la foto es la suma de la imagen fuera de la ventana y el reflejo en el cristal. Si A + B = C, entonces será imposible restaurar A y B solo desde C.

La segunda reflexión proporciona la información necesaria para la corrección de la imagen. Los valores de los píxeles de reflexión individuales deberían coincidir aproximadamente, y esto facilita la búsqueda de la solución deseada, aunque su número sigue siendo grande. Shi y otros coautores del trabajo - profesores de ciencias de la computación e ingeniería informática Fredo Duran y Bill Freeman (supervisores científicos del trabajo) y Dilip Krishnan (doctor en ciencias que ahora trabaja en Google Research) - agregaron al algoritmo la expectativa de que tanto la reflexión como y la vista capturada desde la ventana tiene patrones estadísticos llamados imagen natural.

Se supone que en representaciones gráficas sin cambios del mundo a nivel de grupos de píxeles, los cambios de color nítidos son raros, y si ocurren, entonces dentro de límites claros. Si algunos píxeles son el borde entre los objetos azul y rojo, entonces se espera que en un lado la imagen tenga un tinte azul y en el otro, rojo. En el campo de la visión por computadora, esto generalmente se realiza utilizando el principio de gradiente, que caracteriza cada bloque de píxeles con respecto a la dirección general del cambio de color y la intensidad de este proceso. Pero Shi y sus colegas descubrieron que esta técnica en este caso no funciona demasiado bien.



Por lo tanto, Daniel Zoran del grupo Freeman y Yair Weiss de la Universidad Hebrea de Jerusalén crearon un algoritmo que divide una imagen en grupos de bloques de píxeles 8 × 8. Para cada uno de los grupos, se realizó un análisis utilizando 50 mil imágenes de entrenamiento, y sobre la base de los datos obtenidos, se obtuvo una forma confiable de distinguir los reflejos de las imágenes fuera de la ventana. Para probar el trabajo, Shi y sus colegas realizaron una búsqueda en Google y en el alojamiento de fotos de Flickr, preguntándoles la forma "problemas con el reflejo en la ventana de la foto". Después de excluir resultados que no eran fotos en la ventana, se recogieron 197 imágenes. De estos, en 96 casos, el cambio entre las dos imágenes fue lo suficientemente amplio como para que el algoritmo funcionara.

Yoav Schechner, profesor de ingeniería eléctrica en el Technion israelí, dijo que los intentos de eliminar tales elementos innecesarios en las fotografías se han hecho antes, pero algunos métodos utilizan solo una reflexión. La tarea fue muy complicada, y el éxito fue solo parcial, no había una forma automática de separar el reflejo de la imagen restaurada. El trabajo de Shi es un gran avance en varios frentes a la vez. Schechner cree que si el algoritmo se perfecciona con el tiempo, podrá acceder a los populares paquetes de procesamiento de fotografías digitales y ayudar a los algoritmos de visión por computadora en los robots. Los investigadores no informan la posibilidad de extraer la imagen de un fotógrafo del reflejo, pero esta aplicación probablemente sea posible. Esto último puede ser de interés para la policía y los mirones.

El algoritmo se presentará en junio en Boston en la conferencia Computer Vision and Pattern Recognition.
_{Imágenes: Instituto de Tecnología de Massachusetts .}