Pemrogram California bekerja pada sistem pengenalan emosi untuk Oculus Rift

Hao Li, asisten profesor di University of Southern California, telah menerbitkan karyanya, yang membawa realisme tambahan ke dunia virtual. Ia memimpin pengembangan sistem yang dengannya Oculus Rift, helm realitas virtual, dapat membaca ekspresi wajah pengguna secara real time .

Sejak zaman komputer kuno, emotikon telah menjadi sarana utama untuk menyampaikan emosi. Kemudian datang webcam dan obrolan video, di mana Anda dapat dengan bebas melihat lawan bicara. Tetapi bagaimana jika Anda perlu mentransfer ekspresi wajah ke realitas virtual? Atau mengenali emosi untuk menggunakan informasi ini untuk membuat avatar game?

Tentu saja, sistem pengenalan wajah untuk video ada. Itu hanya, tugas ini berkali-kali lebih rumit ketika menggunakan kacamata realitas virtual - seperti Oculus Rift. Agregat besar menutupi 2/3 wajah - paling-paling, kamera akan melihat mulut pengguna. Apa yang harus dilakukan?

Jawabannya ditemukan oleh Hao Li, seorang programmer, peneliti dan model fesyen yang lahir di Jerman dan memiliki akar Taiwan. Dengan tim orang-orang yang berpikiran sama dan di bawah perlindungan ketat jejaring sosial Facebook (yang membeli proyek Oculus pada 2014), mereka mengembangkan sistem pengenalan wajah untuk pengguna Oculus Rift.



Bagian bawah wajah dikenali oleh kamera. Prototipe ini menggunakan kamera Intel RealSense 3D yang dipasang pada dudukan besar ke kacamata. Mungkin di perangkat terakhir akan dimungkinkan untuk mengatur kamera mini di bagian bawah kacamata. Pekerjaan otot-otot wajah bagian atas wajah dikenali oleh delapan sel beban (sensor tarik), yang dibangun di sekeliling perimeter dalam segel gelas yang lembut. Dilihat oleh video, sistem bekerja dengan cukup akurat.

Dengan sistem seperti itu, Anda dapat mentransfer emosi ke avatar Anda dalam obrolan dan game virtual, atau mempertimbangkan ekspresi wajah, misalnya, ketika berbicara dengan NPC. Sistem ini melengkapi realitas virtual dengan detail realistis baru.



Tentu saja, ada kontra dalam prototipe. Selain pemasangan kamera yang tidak nyaman yang disebutkan di atas (yang dapat diselesaikan), sementara ada kebutuhan untuk "kalibrasi" awal untuk pengguna tertentu, Anda harus membuat beberapa wajah sehingga sistem mengkorelasikan data nyata dari orang tertentu dengan templatnya. Tetapi para pengembang berharap untuk menghilangkan tahap ini di masa depan, ketika mereka mendapatkan basis "menyeringai" yang layak dari berbagai orang.

Fitur lain adalah persyaratan sistem. Oculus Rift sendiri menuntut perangkat keras , dan sistem ini, tentu saja, juga. Untuk operasi normal pada kecepatan 30 FPS, Anda akan memerlukan Core i7-4820K, RAM 32GB, dan GTX 980.

Sistem ini kemungkinan besar tidak akan muncul bersamaan dengan salinan kacamata pertama, yang, setelah lama dikembangkan, akan mulai dijual awal tahun depan..