Des programmeurs californiens travaillent sur un système de reconnaissance des émotions pour Oculus Rift

Hao Li, professeur adjoint à l'Université de Californie du Sud, a publié son travail, qui apporte un réalisme supplémentaire au monde virtuel. Il dirige le développement d'un système avec lequel Oculus Rift, un casque de réalité virtuelle, peut lire les expressions faciales des utilisateurs en temps réel .

Depuis les temps anciens de l'informatique, les émoticônes ont été le principal moyen de transmettre des émotions. Viennent ensuite les webcams et les chats vidéo, dans lesquels vous pouvez voir librement l'interlocuteur. Mais que faire si vous devez transférer des expressions faciales dans la réalité virtuelle? Ou reconnaître des émotions pour utiliser ces informations pour rendre des avatars de jeu?

Bien sûr, il existe des systèmes de reconnaissance faciale pour la vidéo. C'est juste, cette tâche est beaucoup plus compliquée lors de l'utilisation de lunettes de réalité virtuelle - comme l'Oculus Rift. L'unité massive couvre les 2/3 du visage - dans le meilleur des cas, la caméra verra la bouche de l'utilisateur. Que faire?

La réponse a été trouvée par Hao Li, programmeur, chercheur et mannequin né en Allemagne et d'origine taïwanaise. Avec une équipe de personnes partageant les mêmes idées et sous le strict patronage du réseau social Facebook (qui a acheté le projet Oculus en 2014), ils ont développé un système de reconnaissance faciale pour les utilisateurs d'Oculus Rift.



La partie inférieure du visage est reconnue par la caméra. Le prototype utilise une caméra Intel RealSense 3D montée sur un support massif pour les lunettes. Peut-être que dans le dernier appareil, il sera possible de disposer une caméra miniature au fond des lunettes. Le travail des muscles faciaux de la partie supérieure du visage est reconnu par huit capteurs de force (capteurs de traction), construits autour du périmètre dans un joint de lunettes souple. A en juger par la vidéo, le système fonctionne assez précisément.

Avec un tel système, vous pouvez transférer des émotions vers votre avatar dans des chats et des jeux virtuels, ou prendre en compte des expressions faciales, par exemple, lorsque vous parlez à un PNJ. Le système complète la réalité virtuelle avec de nouveaux détails réalistes.



Bien sûr, il y a des inconvénients dans le prototype. En plus du support de caméra peu pratique mentionné ci-dessus (qui peut être résolu), bien qu'il y ait un besoin de "calibrage" initial pour un utilisateur spécifique, vous devrez faire quelques visages afin que le système corrèle les données réelles d'une personne particulière avec ses modèles. Mais les développeurs espèrent éliminer cette étape à l'avenir, lorsqu'ils obtiendront une base décente de "grimaces" de diverses personnes.

Une autre caractéristique est la configuration système requise. Oculus Rift lui-même est exigeant sur le matériel , et ce système, bien sûr, aussi. Pour un fonctionnement normal à une vitesse de 30 FPS, vous aurez besoin d'un Core i7-4820K, 32 Go de RAM et GTX 980.

Le système n'apparaîtra probablement pas avec les premières copies des lunettes, qui, après un long développement, seront mises en vente au début de l'année prochaine.