O MIT desenvolveu um algoritmo que remove reflexos nas janelas das fotos

Se você for até a janela e tentar tirar uma foto através do vidro, será difícil evitar o reflexo de sua própria figura. O objeto desnecessário será o mais perceptível, mais escuro será o espaço fora da janela. Fotógrafos profissionais resolvem esse problema aproximando a lente da câmera do vidro e usando muitas outras técnicas, por exemplo, filtros polarizadores. Mas geralmente apenas o “olho” do smartphone está disponível ou as opções de fotografia são limitadas, e você precisa tolerar a presença de reflexão. Pesquisadores do Instituto de Tecnologia de Massachusetts encontraram uma solução algorítmica para esse problema.

O algoritmo será apresentado em junho em uma conferência sobre visão computacional e reconhecimento de padrões, mas alguns detalhes já estão disponíveis . Para o trabalho, é usado o fato de que as reflexões são repetidas várias vezes devido à estrutura das janelas. Com base nesse princípio, as fotografias digitais são limpas automaticamente em uma ampla variedade de casos.

Segundo o primeiro autor da obra, YiChang Shih, em Boston, janelas com vidros duplos são frequentemente usadas para reter o calor na estação fria. Portanto, geralmente são obtidas duas reflexões de cada um dos óculos. Mas isso não significa que o algoritmo funcione apenas para janelas duplas; um copo grosso também oferece duas reflexões: uma por dentro e a segunda por fora. Sem fornecer informações adicionais sobre a segunda reflexão, a tarefa de remover elementos desnecessários é praticamente insolúvel, pois o resultado da foto é a soma da imagem fora da janela e o reflexo no vidro. Se A + B = C, será impossível restaurar A e B apenas de C.

A segunda reflexão fornece as informações necessárias para a correção da imagem. Os valores dos pixels de reflexão individuais devem coincidir aproximadamente, e isso facilita a busca da solução desejada, embora seu número ainda permaneça grande. Shi e outros co-autores do trabalho - professores de ciência da computação e engenharia da computação Fredo Duran e Bill Freeman (supervisores científicos do trabalho) e Dilip Krishnan (doutor em ciências que agora trabalha na Pesquisa do Google) - acrescentaram ao algoritmo a expectativa de que tanto a reflexão quanto e a visão capturada da janela possui padrões estatísticos chamados de imagem natural.

Supõe-se que em representações gráficas inalteradas do mundo no nível de grupos de pixels, mudanças nítidas de cor são raras e, se ocorrerem, dentro de limites claros. Se alguns pixels forem a borda entre os objetos azuis e vermelhos, é esperado que, por um lado, a imagem tenha uma tonalidade azul e, por outro, vermelho. No campo da visão computacional, isso geralmente é realizado usando o princípio do gradiente, que caracteriza cada bloco de pixels em relação à direção geral da mudança de cor e à intensidade desse processo. Mas Shi e seus colegas descobriram que essa técnica neste caso não funciona muito bem.



Portanto, Daniel Zoran, do grupo Freeman, e Yair Weiss, da Universidade Hebraica de Jerusalém, criaram um algoritmo que divide uma imagem em grupos de blocos de 8 × 8 pixels. Para cada um dos grupos, foi realizada uma análise utilizando 50 mil imagens de treinamento e, com base nos dados obtidos, foi obtida uma maneira confiável de distinguir reflexões das imagens fora da janela. Para testar o trabalho, Shi e seus colegas fizeram uma pesquisa no Google e na hospedagem de fotos do Flickr, perguntando a eles o formulário “problemas com o reflexo na janela da foto”. Após excluir os resultados que não eram fotos na janela, foram coletadas 197 imagens. Desses, em 96 casos, a mudança entre as duas imagens foi grande o suficiente para que o algoritmo funcionasse.

Yoav Schechner, professor de engenharia elétrica no Israelense Technion, disse que tentativas de remover esses elementos desnecessários nas fotografias foram feitas antes, mas alguns métodos usaram apenas uma reflexão. A tarefa era muito complicada e o sucesso era apenas parcial, não havia uma maneira automatizada de separar a reflexão da imagem restaurada. O trabalho de Shi é um avanço em várias frentes ao mesmo tempo. Schechner acredita que, se o algoritmo for aprimorado ao longo do tempo, ele poderá entrar nos populares pacotes de processamento de fotos digitais e ajudar os algoritmos de visão computacional em robôs. Os pesquisadores não relatam a possibilidade de extrair a imagem de um fotógrafo da reflexão, mas esse aplicativo provavelmente é possível. Estes últimos podem ser de interesse para a aplicação da lei e para os observadores.

O algoritmo será apresentado em junho, em Boston, na conferência Computer Vision and Pattern Recognition.
_{Imagens: Instituto de Tecnologia de Massachusetts .}