Los programadores de California trabajan en el sistema de reconocimiento de emociones para Oculus Rift

Hao Li, profesor asistente de la Universidad del Sur de California, ha publicado su trabajo, que aporta realismo adicional al mundo virtual. Él dirige el desarrollo de un sistema con el que Oculus Rift, un casco de realidad virtual, puede leer las expresiones faciales del usuario en tiempo real .

Desde la antigüedad, los emoticones han sido los medios principales para transmitir emociones. Luego vinieron cámaras web y chats de video, en los que puedes ver libremente al interlocutor. Pero, ¿qué pasa si necesita transferir expresiones faciales a la realidad virtual? ¿O reconocer las emociones para utilizar esta información para representar avatares del juego?

Por supuesto, existen sistemas de reconocimiento facial para video. Es solo que esta tarea es muchas veces más complicada cuando se usan gafas de realidad virtual, como Oculus Rift. La unidad masiva cubre 2/3 de la cara: en el mejor de los casos, la cámara verá la boca del usuario. ¿Qué hacer?

La respuesta fue encontrada por Hao Li, un programador, investigador y modelo de moda que nació en Alemania y tiene raíces taiwanesas. Con un equipo de personas de ideas afines y bajo el estricto patrocinio de la red social de Facebook (que compró el proyecto Oculus en 2014), desarrollaron un sistema de reconocimiento facial para los usuarios de Oculus Rift.



La parte inferior de la cara es reconocida por la cámara. El prototipo usa una cámara Intel RealSense 3D montada en un soporte masivo para las gafas. Quizás en el dispositivo final sea posible colocar una cámara en miniatura en la parte inferior de las gafas. El trabajo de los músculos faciales de la parte superior de la cara es reconocido por ocho células de carga (sensores de tracción), construidas alrededor del perímetro en un sello suave de anteojos. A juzgar por el video, el sistema funciona con bastante precisión.

Con un sistema de este tipo, puede transferir emociones a su avatar en chats y juegos virtuales, o tener en cuenta las expresiones faciales, por ejemplo, al hablar con un NPC. El sistema complementa la realidad virtual con nuevos detalles realistas.



Por supuesto, hay contras en el prototipo. Además del inconveniente montaje de la cámara mencionado anteriormente (que se puede resolver), aunque existe la necesidad de una "calibración" inicial para un usuario específico, tendrá que hacer algunas caras para que el sistema correlacione los datos reales de una persona en particular con sus plantillas. Pero los desarrolladores esperan eliminar esta etapa en el futuro, cuando obtengan una base decente de "muecas" de varias personas.

Otra característica son los requisitos del sistema. Oculus Rift es exigente en hardware , y este sistema, por supuesto, también. Para un funcionamiento normal a una velocidad de 30 FPS, necesitará un Core i7-4820K, 32 GB de RAM y GTX 980.

El sistema probablemente no aparecerá junto con las primeras copias de las gafas, que, después de un largo desarrollo, saldrán a la venta a principios del próximo año..