Kalifornische Programmierer arbeiten am Emotionserkennungssystem für Oculus Rift

Hao Li, ein Assistenzprofessor an der University of Southern California, hat seine Arbeit veröffentlicht, die der virtuellen Welt zusätzlichen Realismus verleiht. Er leitet die Entwicklung eines Systems, mit dem Oculus Rift, ein Virtual-Reality-Helm, die Gesichtsausdrücke des Benutzers in Echtzeit lesen kann .

Emoticons sind seit jeher das wichtigste Mittel, um Emotionen zu vermitteln. Dann kamen Webcams und Video-Chats, in denen Sie den Gesprächspartner frei sehen können. Aber was ist, wenn Sie Mimik in die virtuelle Realität übertragen müssen? Oder Emotionen erkennen, um diese Informationen zum Rendern von Spielavataren zu verwenden?

Natürlich Gesichtserkennungssysteme für Video exist. Das heißt, diese Aufgabe ist bei Verwendung von Virtual-Reality-Brillen - wie der Oculus Rift - um ein Vielfaches komplizierter. Die massive Einheit bedeckt 2/3 des Gesichts - im besten Fall sieht die Kamera den Mund des Benutzers. Was ist zu tun?

Die Antwort fand Hao Li, ein Programmierer, Forscher und Model, der in Deutschland geboren wurde und taiwanesische Wurzeln hat. Mit einem Team von Gleichgesinnten und unter der strengen Schirmherrschaft des sozialen Netzwerks Facebook (das das Oculus-Projekt 2014 gekauft hat) entwickelten sie ein Gesichtserkennungssystem für Oculus Rift-Benutzer.



Der untere Teil des Gesichts wird von der Kamera erkannt. Der Prototyp verwendet eine Intel RealSense 3D-Kamera, die auf einem massiven Halter an der Brille montiert ist. Vielleicht ist es im Endgerät möglich, eine Miniaturkamera am Boden der Brille anzubringen. Die Arbeit der Gesichtsmuskeln im oberen Teil des Gesichts wird von acht Wägezellen (Zugsensoren) erkannt, die in einer weichen Brillendichtung um den Umfang herum aufgebaut sind. Dem Video nach zu urteilen, arbeitet das System ziemlich genau.

Mit einem solchen System können Sie Emotionen in virtuellen Chats und Spielen auf Ihren Avatar übertragen oder Mimik berücksichtigen, beispielsweise wenn Sie mit einem NPC sprechen. Das System ergänzt die virtuelle Realität mit neuen realistischen Details.



Natürlich hat der Prototyp Nachteile. Zusätzlich zu der oben erwähnten unbequemen Kamerahalterung (die gelöst werden kann), während für einen bestimmten Benutzer eine anfängliche „Kalibrierung“ erforderlich ist, müssen Sie einige Gesichter erstellen, damit das System die realen Daten einer bestimmten Person mit seinen Vorlagen korreliert. Die Entwickler hoffen jedoch, diese Phase in Zukunft zu beseitigen, wenn sie von verschiedenen Personen eine anständige Basis an "Grimassen" erhalten.

Ein weiteres Merkmal sind die Systemanforderungen. Oculus Rift selbst stellt hohe Anforderungen an die Hardware und natürlich auch an dieses System. Für den normalen Betrieb mit einer Geschwindigkeit von 30 FPS benötigen Sie einen Core i7-4820K, 32 GB RAM und GTX 980.

Das System wird höchstwahrscheinlich nicht zusammen mit den ersten Kopien der Brille erscheinen, die nach einer langen Entwicklung Anfang nächsten Jahres in den Handel kommen werden.