Programadores da Califórnia trabalham no sistema de reconhecimento de emoções para Oculus Rift

Hao Li, professor assistente da Universidade do Sul da Califórnia, publicou seu trabalho, o que traz realismo adicional ao mundo virtual. Ele lidera o desenvolvimento de um sistema com o qual Oculus Rift, um capacete de realidade virtual, pode ler as expressões faciais do usuário em tempo real .

Desde os tempos antigos dos computadores, os emoticons têm sido o principal meio de transmitir emoções. Depois vieram webcams e chats de vídeo nos quais você pode ver livremente o interlocutor. Mas e se você precisar transferir expressões faciais para realidade virtual? Ou reconhecer emoções para usar essas informações para renderizar avatares de jogos?

Obviamente, existem sistemas de reconhecimento facial para vídeo. Sim, essa tarefa é muitas vezes mais complicada ao usar óculos de realidade virtual - como o Oculus Rift. A enorme unidade cobre 2/3 do rosto - na melhor das hipóteses, a câmera verá a boca do usuário. O que fazer?

A resposta foi encontrada por Hao Li, programador, pesquisador e modelo de moda que nasceu na Alemanha e tem raízes em Taiwan. Com uma equipe de pessoas afins e sob o estrito patrocínio da rede social do Facebook (que comprou o projeto Oculus em 2014), eles desenvolveram um sistema de reconhecimento facial para usuários do Oculus Rift.



A parte inferior do rosto é reconhecida pela câmera. O protótipo usa uma câmera 3D Intel RealSense montada em um suporte enorme para os óculos. Talvez no dispositivo final seja possível organizar uma câmera em miniatura na parte inferior dos óculos. O trabalho dos músculos faciais da parte superior da face é reconhecido por oito células de carga (sensores de tração), construídas ao redor do perímetro em um selo macio de óculos. A julgar pelo vídeo, o sistema funciona com bastante precisão.

Com esse sistema, você pode transferir emoções para o seu avatar em bate-papos e jogos virtuais ou levar em consideração expressões faciais, por exemplo, ao conversar com um NPC. O sistema complementa a realidade virtual com novos detalhes realistas.



Obviamente, existem contras no protótipo. Além da montagem inconveniente da câmera mencionada acima (que pode ser resolvida), embora exista uma "calibração" inicial para um usuário específico, você terá que fazer algumas faces para que o sistema correlacione os dados reais de uma pessoa em particular com seus modelos. Mas os desenvolvedores esperam eliminar esse estágio no futuro, quando obtiverem uma base decente de "caretas" de várias pessoas.

Outro recurso são os requisitos do sistema. O Oculus Rift em si é exigente em hardware , e esse sistema, é claro, também. Para operação normal a uma velocidade de 30 FPS, você precisará de um Core i7-4820K, 32GB de RAM e GTX 980.

O sistema provavelmente não aparecerá junto com as primeiras cópias dos óculos, que, após um longo desenvolvimento, estarão à venda no início do próximo ano.