Clever Geek Handbook

Virtuelle Realität: 360 Video und binauraler Sound

Für die EVA Florence 2015- Konferenz (Florenz, Italien) haben wir einen interessanten Bericht über Virtual-Reality-Technologien verfasst . Der Artikel wurde nirgendwo veröffentlicht und da das Thema bei Geektimes interessant und nicht zu ausführlich behandelt wird, haben wir beschlossen, es hier zu veröffentlichen. Wir geben eine angepasste russische Version des Artikels, fügen Sie bei Bedarf Ergänzungen, Links, Notizen hinzu.


360 Video + binauraler Sound

Einführung


Mit der Entwicklung der Computerspielbranche und der Technologien zur virtuellen Darstellung von Objekten (3D-Modellierung, Fotopanoramen) wurden gleichzeitig Geräte zum individuellen und kollektiven Eintauchen in Virtual-Reality-Umgebungen verbessert. Solche Geräte und Systeme ermöglichen es einer Person aufgrund der Wirkung der Präsenz, sich in der virtuellen Welt zu befinden: einem Computerspiel, einem virtuellen Museum, einer virtuellen Tour usw.

2013 erschien ein Prototyp einer neuen Generation von Virtual-Reality-Helmen - Oculus Rift (Abb. 1) von Oculus http://www.oculus.com, die mehr als 90 Millionen US-Dollar an Crowdfunding-Standorten in den USA sowie von verschiedenen Investoren gesammelt haben. Eine Besonderheit des Oculus Rift-Helms ist die Methode zur Erstellung von Linsenbildern. Der Betrachter, der den Helm aufsetzt, schaut nicht direkt auf das Stereobild, sondern durch spezielle asphärische Linsen. Mit Hilfe von Linsen konnte der Betrachtungswinkel erheblich erweitert werden, so dass er dem biologischen Sehvermögen einer Person nahe kam (110 ° gegenüber 45-50 ° in gewöhnlichen Gläsern), wodurch der Helm ein ungewöhnlich tiefes Eintauchen in die virtuelle Realität ermöglicht. Diese Funktion bestimmte das Schicksal der Punkte - das Projekt wurde zu einem der am schnellsten wachsenden in der Branche, experimentelle Anwendungen für Oculus Rift wurden weltweit entwickelt und 2014 fand einer der Rekordverträge in der Branche statt - Facebook kaufte Oculus für 2 Milliarden US-Dollar.


Feige. 1. Oculus Rift DK2 Virtual-Reality-Helm und Benutzer, 2014.

Ende 2014 wurden verschiedene Virtual-Reality-Helme (oder genauer gesagt Headsets) vorgestellt, die nach demselben Prinzip gebaut und für die Verwendung mit einem Smartphone konzipiert wurden. Große Unternehmen - Samsung ( Samsung Gear VR ), Google ( Google Cardboard ), HTC ( HTC Vive ) - nahmen am Wettlauf um die Entwicklung solcher Produkte teil , und viele Startups für die Herstellung von Helmen erschienen - Homido (Frankreich), Fibrum (Russland), ColorCross (China) ) und andere (Abb. 2.).

Der grundlegende Unterschied zwischen diesen Geräten von Oculus Rift bestand darin, dass die aufgeführten Helme ein in den Helm eingesetztes Smartphone als Bildschirm verwendeten. Daher war es nicht erforderlich, einen Computer und Verbindungskabel zum Anschließen des Oculus Rift zu verwenden, und die Kosten für den Helm fielen auf 30 USD.


Feige. 2. Virtual-Reality-Headsets

Derzeit (Mai 2015) werden Virtual-Reality-Headsets von einer Vielzahl von Computerspielen unterstützt (Half-Life 2, Team Fortress 2, Mirror's Edge, War Thunder, EVE Valkyrie (ex. EVR) von CCP). DCS: World, IL-2 Sturmovik "Schlacht um Stalingrad", Euro Truck Simulator 2, Minecraft, Live For Speed) und mehrere Spiel-Engines (CryEngine, Unreal Engine (Versionen 3 und 4), Unity, Unigine, Source, CopperCube, voll Liste. Sie können die virtuelle Realität auch ohne Helm anzeigen - durch Drehen des Smartphones, gleichzeitig wird der Effekt der Präsenz erheblich reduziert.

Ein neues Format der Unterhaltung ist erschienen und verbreitet sich aktiv - die Attraktion "Virtual Reality", bei der der Kunde gegen eine geringe Gebühr in der 3D-Welt sein kann. Eine dieser Attraktionen wurde auch im ITMO Design and Multimedia Center gesammelt und war beim Publikum immer ein Erfolg (Abb. 3).


Feige. 3. Der Gouverneur von St. Petersburg G.S. Poltavchenko lernt die Attraktion "Virtual Reality" kennen (St. Petersburg, Russland, Herbst 2014)

Durch die Verwendung von Virtual-Reality-Headsets für Bildungs- und Forschungszwecke können Sie kulturelle Objekte (Architekturobjekte oder Museumsausstellungen) mit einem neuen Detaillierungsgrad und den Betrachtungsmöglichkeiten für den Benutzer darstellen.

Verwendung der 360 ° -Videotechnologie für Kultur und Kunst


Mit dem Aufkommen von Virtual-Reality-Headsets wurde die Richtung von Foto- und Videopanoramen sowie der Einsatz von 360 ° -Videotechnologie in verschiedenen Bereichen besonders relevant - von Museen und interaktiven Videotouren bis hin zu Musikaufnahmen und Theateraufführungen. Insbesondere ein in diesem Format aufgenommenes Konzert macht einen unauslöschlichen Eindruck - der Zuschauer, der einen Virtual-Reality-Helm trägt, befindet sich unter seinen Lieblingsmusikern oder -schauspielern direkt auf der Bühne.

Das ITMO Design- und Multimedia-Zentrum war im Rahmen des Video360Production- Projekts eines der ersten in Russland, das mit der Entwicklung der Video 360-Technologie für Virtual-Reality-Helme experimentierte. Eines der ersten Experimente, das gemeinsam mit dem Zentrum für 3D-Technologie der Staatlichen Universität für Telekommunikation St. Petersburg durchgeführt wurde, ist die Aufnahme des Stücks „Choice“ (Theater)„AX“ , St. Petersburg, Russland, Sommer 2014), angepasst für die Wiedergabe in Oculus Rift DK1 (Abb. 4.).


Feige. 4. Die Performance „Choice“ im Stereopaarmodus (AX Theatre, St. Petersburg, Russland, Sommer 2014).

Ein Merkmal dieser experimentellen Umfrage war, dass sie mit einer normalen 3D-Kamera aufgenommen wurde - bei Betrachtung mit einem Helm In der virtuellen Realität sah der Benutzer einen Stereoeffekt (für jedes Auge wurde ein anderes Bild erstellt), aber es gab keine Positionierung nach Kopfposition.

Ein großer Erfolg bei der Entwicklung der Video 360-Technologie war die Aufnahme eines Konzerts von Paul McCartney unter der Leitung der amerikanischen Firma Jaunt im August 2014.


Feige. 5. Konzert von Paul McCartney im 360 ° 3D-Videoformat („Live and Let Die“, live im Candlestick Park, San Francisco, USA, 14. August 2014)

Fortsetzung der Experimente zur Aufnahme kultureller Ereignisse mit der Möglichkeit, sie anzusehen Als Virtual-Reality-Helm entwickelten die Mitarbeiter des ITMO Design and Multimedia Center spezielle Geräte für die Aufzeichnung von 360 ° -Videos für verschiedene Szenarien - statische Szenen (die Kamera steht an einem Punkt stationär), dynamische Szenen (die Kamera bewegt sich auf einem ausgewählten Pfad, ferngesteuert) und verschiedene Montagemethoden (Boot, Quadcopter, Helm usw.).

360 ° Videoaufnahmegeräte


Das Erstellen von Inhalten im 360 ° -Videoformat ist bis heute keine triviale Aufgabe, obwohl spezielle Geräte (360 ° -Videokameras) und Software für die spätere Verarbeitung von Material entwickelt wurden.

Die allmähliche Verbreitung der Technologie kann durch eine Reihe von Schwierigkeiten erklärt werden: eine große Menge verarbeiteter Materialien, teilweise manuelle Verarbeitung, die hohen Kosten für die Ausrüstung und vor allem das Fehlen eines geeigneten Betrachtungswerkzeugs. Vor dem Aufkommen von Virtual-Reality-Headsets war die einzige Möglichkeit, 360 ° -Videos anzuzeigen, ein spezialisierter Player, bei dem der Benutzer das Video mit der Maus um sich drehen kann.

Mit dem Aufkommen von Virtual-Reality-Headsets hat sich die Situation geändert - der Benutzer befindet sich "innerhalb" des Videos und spürt ein fast vollständiges Eintauchen in den virtuellen Raum. Verschiedene kreative Gruppen und Start-ups traten in großer Zahl auf und implementierten ihre eigenen technologischen Lösungen für die Aufnahme von 360 ° -Videos, die sich in einer bemerkenswerten Vielfalt und Eigenschaften unterschieden (Abb. 6-7).


Feige. 6. Verschiedene Kamera-Layouts zum Aufnehmen von 360 ° -Fotos und -Videos

Besonders ungewöhnliche Look-Lösungen, mit denen Sie 360 ​​° -Videos im 3D-Format aufnehmen können (für jedes Auge wird eine eigene Videokugel erstellt, die dann in einem speziellen Player für die Wiedergabe kombiniert wird). 3D-Video 360 ° vermittelt dem Betrachter ein stärkeres Raumgefühl als in der üblichen "Mono" -Version, erfordert jedoch erheblich mehr Ressourcen - sowohl für die Verarbeitung von Materialien als auch für die Lösung verschiedener technischer Probleme. Insbesondere ist das Problem der oberen Kammern und ihrer Anordnung getrennt (so, dass der Betrachter bei jeder Drehung des Kopfes nach oben das richtige Bild sieht) (Abb. 7).


Feige. 7. Verschiedene Kamera-Layouts für die Aufnahme von Fotos und Video 360,
einschließlich Stereo-Layout für 3D-Video 360 (z. B. 360 Heros- Kameras )

Binauraler Klang


Eine besondere Aufgabe beim Erstellen von Inhalten für die virtuelle Realität, sei es 3D-Modellierung oder „360 ° -Video“, ist die Aufnahme und Wiedergabe von Surround-Sound - da der Benutzer in der virtuellen Realität je nach Position des Kopfes unterschiedliche Sounds hören muss!

In Computerspiel-Engines wird dieses Problem mithilfe einer speziellen Software gelöst, mit der die Position von Tonquellen im virtuellen Raum festgelegt wird. Mit dem Aufkommen des „Video 360 °“ -Formats und der Möglichkeit, Musikkonzerte in diesem Format aufzunehmen, wurde es jedoch notwendig, den Ton sehr genau aufzunehmen - so wie es eine an einem bestimmten Punkt stehende Person hört.

Zu diesem Zweck verwenden Forscher das sogenannte binauraler Klang- Es wird auf speziellen Mikrofonen aufgezeichnet, deren Form die menschliche Ohrmuschel wiederholt.


Feige. 8. Geräte zur Aufnahme von binauralem Sound aus 3Dio

Eines der bekanntesten Werke, das mit binauraler Soundtechnologie aufgenommen wurde, ist ein Beck- Bandkonzert :


Abb. 9. Beck, „Hallo nochmal“ („Sound and Vision“, 2013)


. 10. Beck, „Hallo nochmal“ („Sound and Vision“, 2013)

360 ° Video Hosting


Im Zusammenhang mit der raschen Verbreitung der Technologie besteht das dringende Problem in der Organisation des Hostings von Dateien im Format „Video 360 °“. Ein wichtiger Bestandteil eines solchen Hostings ist die Fähigkeit, nicht nur Videos mit der Fähigkeit zum Drehen der Maus abzuspielen, sondern auch die Anpassung für stationäre (Oculus Rift) und mobile Virtual-Reality-Headsets.

Derzeit bieten nur wenige Dienste vollständige Unterstützung für „Video 360 °“ - French Kolor (zum Zeitpunkt des Schreibens dieses Artikels wurde es von der amerikanischen Firma GoPro gekauft ), Youtube unterstützte Video 360 2015 teilweise auch (es besteht die Möglichkeit einer Mausrotation, es gibt jedoch keine Anpassung für Headsets virtuelle Realität).

Borisov Nikolay Valentinovich
Design- und Multimedia-Zentrum, ITMO-Universität
Institut für Informationssysteme in den Künsten und Geisteswissenschaften, Staatliche Universität St. Petersburg

Artolin A. Smolin
Institut für Ingenieurwissenschaften und Computergrafik, Zentrum für Design und Multimedia, ITMO-
Institut für Informationssysteme in den Künsten und Geisteswissenschaften, Staatliche Universität St. Petersburg

Stolyarov Denis Andreyevich
Zentrum für Design und Multimedia, ITMO Universität
Institut für Mathematische Linguistik, SPbSU

Unsere Kontakte:
Projekt Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles