麻省理工学院开发了一种算法，可以消除照片中窗户的反射

如果您去窗户旁尝试通过玻璃杯拍照，将很难避免自己的身影被反射。不必要的物体越明显，窗外的空间越暗。专业摄影师通过将相机镜头靠近玻璃并应用许多其他技术（例如偏光滤镜）来解决此问题。但是通常只有智能手机的“眼睛”可用，或者拍摄选项受到限制，并且您不得不忍受反射的存在。麻省理工学院的研究人员找到了解决该问题的算法。

该算法将在6月的计算机视觉和模式识别会议上进行介绍，但是一些详细信息已经提供。为了工作，使用了由于窗户的结构反射多次重复的事实。基于此原理，可以在多种情况下自动清洁数码照片。

根据该作品的第一作者，位于波士顿的YiChang Shih的说法，在寒冷的季节，通常使用双层玻璃窗来保温。因此，通常从每个眼镜获得两次反射。但这并不意味着该算法仅适用于双窗，一种厚玻璃还产生两种反射：一种是从内部反射的，第二种是从外部反射的。在没有提供有关第二反射的附加信息的情况下，去除不必要的元素的任务实际上是无法解决的，因为照片的结果是窗外图像与玻璃中反射的总和。如果A + B = C，则不可能仅从C恢复A和B。

第二次反射为图像校正提供了必要的信息。各个反射像素的值应该大致重合，尽管它们的数量仍然很大，但是这有助于寻找所需的解决方案。 Shi和其他工作的合著者-计算机科学和计算机工程教授Fredo Duran和Bill Freeman（该项目的科学主管）和Dilip Krishnan（现在在Google Research的科学博士）-将对反射和反射的期望加到了算法中。并且从窗口捕获的视图具有称为自然图像的统计模式。

假定在像素组级别的世界的不变图形表示中，很少出现急剧的颜色变化，如果发生这种情况，则在清晰的边界内。如果某些像素是蓝色和红色物体之间的边界，则可以预期图片的一侧将具有蓝色，而另一侧将具有红色。在计算机视觉领域，通常使用渐变原理来实现这一点，该原理相对于颜色变化的总体方向和此过程的强度来表征每个像素块。但是Shi和他的同事发现这种技术在这种情况下效果不是很好。



因此，弗里曼（Freeman）组的丹尼尔·佐兰（Daniel Zoran）和耶路撒冷希伯来大学的耶尔·魏斯（Yair Weiss）创建了一种算法，可将图像分成8×8像素块的组。对于每个组，使用5万张训练图像进行了分析，并基于获得的数据，获得了一种可靠的方法，可以将反射与窗外图像区分开。为了测试这项工作，Shi和他的同事在Google和Flickr照片托管上进行了搜索，询问他们表格“照片窗口中是否存在反射问题”。在排除窗口中非照片的结果之后，收集了197张图像。其中，在96种情况下，两个图像之间的偏移足够宽，以至于该算法起作用。

以色列理工学院电气工程学教授Yoav Schechner表示，以前曾尝试去除照片中的此类不必要元素，但有些方法仅使用一种反射。任务非常复杂，并且成功只是部分的，没有自动的方法将反射与还原的图像分开。施的工作是一次在几个方面的突破。 Schechner认为，如果随着时间的推移对算法进行改进，那么他将能够进入流行的数字照片处理程序包，并帮助机器人中的计算机视觉算法。研究人员没有报告从反射中提取摄影师的图像的可能性，但是这种应用可能是可能的。执法人员和偷窥者可能会对后者感兴趣。

该算法将在六月在波士顿举行的计算机视觉和模式识别会议上发布。
_{图片：麻省理工学院。}