MIT telah mengembangkan suatu algoritma yang menghilangkan refleksi di windows dari foto

Jika Anda pergi ke jendela dan mencoba mengambil foto melalui kaca, akan sulit untuk menghindari pantulan sosok Anda sendiri. Objek yang tidak perlu akan semakin terlihat, semakin gelap ruang di luar jendela. Fotografer profesional memecahkan masalah ini dengan mendekatkan lensa kamera ke kaca dan menerapkan banyak teknik lain, misalnya, filter polarisasi. Namun seringkali hanya "mata" dari smartphone yang tersedia, atau opsi pemotretan terbatas, dan Anda harus tahan dengan kehadiran refleksi. Para peneliti di Massachusetts Institute of Technology telah menemukan solusi algoritmik untuk masalah ini.

Algoritme akan dipresentasikan pada bulan Juni di sebuah konferensi tentang visi komputer dan pengenalan pola (Computer Vision and Pattern Recognition), tetapi sekarang beberapa detail sudah tersedia . Untuk pekerjaan, fakta bahwa pantulan diulang beberapa kali karena struktur jendela digunakan. Berdasarkan prinsip ini, foto-foto digital secara otomatis dibersihkan dalam berbagai kasus.

Menurut penulis pertama karya tersebut, YiChang Shih, di Boston, jendela berlapis ganda sering digunakan untuk menahan panas di musim dingin. Karena itu, biasanya dua pantulan diperoleh dari masing-masing kacamata. Tetapi ini tidak berarti bahwa algoritma hanya akan berfungsi untuk jendela ganda, satu kaca tebal juga memberikan dua pantulan: satu dari dalam, yang kedua dari luar. Tanpa memberikan informasi tambahan tentang refleksi kedua, tugas menghilangkan elemen yang tidak perlu praktis tidak dapat dipecahkan, karena hasil foto adalah jumlah gambar di luar jendela dan refleksi di kaca. Jika A + B = C, maka tidak mungkin untuk mengembalikan A dan B hanya dari C.

Refleksi kedua menyediakan informasi yang diperlukan untuk koreksi gambar. Nilai masing-masing piksel refleksi harus kira-kira bersamaan, dan ini memfasilitasi pencarian solusi yang diinginkan, meskipun jumlahnya masih besar. Shi dan rekan penulis lain dari karya tersebut - profesor ilmu komputer dan teknik komputer Fredo Duran dan Bill Freeman (pengawas ilmiah karya tersebut) dan Dilip Krishnan (dokter sains yang sekarang bekerja di Google Research) - menambahkan ke dalam algoritma harapan yang mencerminkan dan dan tampilan yang diambil dari jendela memiliki pola statistik yang disebut gambar alami.

Diasumsikan bahwa dalam representasi grafis yang tidak berubah dari dunia pada tingkat kelompok piksel, perubahan warna yang tajam jarang terjadi, dan jika terjadi, maka dalam batas yang jelas. Jika beberapa piksel adalah batas antara objek biru dan merah, maka diharapkan bahwa di satu sisi gambar akan memiliki warna biru, dan di sisi lain - merah. Di bidang visi komputer, ini biasanya diwujudkan dengan menggunakan prinsip gradien, yang mencirikan setiap blok piksel sehubungan dengan arah umum perubahan warna dan intensitas proses ini. Tetapi Shi dan koleganya menemukan bahwa teknik ini dalam kasus ini tidak bekerja dengan baik.



Oleh karena itu, Daniel Zoran dari kelompok Freeman dan Yair Weiss dari Hebrew University of Jerusalem menciptakan sebuah algoritma yang membagi gambar menjadi kelompok-kelompok blok 8 × 8 piksel. Untuk masing-masing kelompok, analisis dilakukan menggunakan 50 ribu gambar pelatihan, dan berdasarkan data yang diperoleh, cara yang dapat diandalkan untuk membedakan refleksi dari gambar di luar jendela diperoleh. Untuk menguji karya tersebut, Shi dan rekan-rekannya melakukan pencarian di Google dan di hosting foto Flickr, menanyakan kepada mereka formulir "masalah dengan refleksi di jendela pada foto". Setelah mengecualikan hasil yang bukan foto di jendela, 197 gambar dikumpulkan. Dari jumlah tersebut, dalam 96 kasus, pergeseran antara dua gambar cukup lebar sehingga algoritma bekerja.

Yoav Schechner, profesor teknik elektro di Israel Technion, mengatakan bahwa upaya untuk menghilangkan elemen yang tidak perlu dalam foto telah dilakukan sebelumnya, tetapi beberapa metode hanya menggunakan satu refleksi. Tugasnya sangat rumit, dan sukses hanya sebagian, tidak ada cara otomatis untuk memisahkan refleksi dari gambar yang dipulihkan. Pekerjaan Shi adalah terobosan di beberapa bidang sekaligus. Schechner percaya bahwa jika algoritma ini disempurnakan dari waktu ke waktu, maka ia akan dapat masuk ke paket pemrosesan foto digital yang populer dan membantu algoritma penglihatan komputer dalam robot. Para peneliti tidak melaporkan kemungkinan mengekstraksi gambar fotografer dari refleksi, tetapi aplikasi ini mungkin. Yang terakhir mungkin menarik bagi penegak hukum dan rekan-rekan.

Algoritme akan dipresentasikan pada bulan Juni di Boston pada konferensi Computer Vision and Pattern Recognition.
_{Gambar: Institut Teknologi Massachusetts .}