Clever Geek Handbook

Réalité virtuelle: vidéo 360 et son binaural

Nous avons rédigé un rapport intéressant sur les technologies de réalité virtuelle pour la conférence EVA Florence 2015 (Florence, Italie). L'article n'a été publié nulle part et, comme le sujet est intéressant et pas trop couvert à Geektimes, nous avons décidé de le poster ici. Nous donnons une version russe adaptée de l'article, si nécessaire, ajoutons des ajouts, des liens, des notes.


Vidéo 360 + son binaural

introduction


Avec l'évolution de l'industrie des jeux informatiques et des technologies de représentation virtuelle d'objets (modélisation 3D, panoramas photo), les dispositifs d'immersion individuelle et collective dans des environnements de réalité virtuelle ont été simultanément améliorés. De tels dispositifs et systèmes, grâce à l'effet de présence, permettent à une personne d'être à l'intérieur du monde virtuel: un jeu informatique, un musée virtuel, une visite virtuelle, etc.

En 2013, un prototype d'une nouvelle génération de casques de réalité virtuelle est apparu - Oculus Rift (Fig. 1.) d'Oculus http://www.oculus.com, qui a permis de lever plus de 90 millions de dollars sur des sites de financement participatif aux États-Unis, ainsi que auprès de divers investisseurs. Une caractéristique distinctive du casque Oculus Rift est la méthode de construction d'image de l'objectif - le spectateur qui met le casque ne regarde pas directement l'image stéréo, mais à travers des lentilles asphériques spéciales. En utilisant des lentilles, il a été possible d'élargir considérablement l'angle de vision, le rapprochant de la vision biologique d'une personne (110 ° contre 45-50 ° dans des lunettes ordinaires), grâce à quoi le casque offre une immersion inhabituellement profonde dans la réalité virtuelle. Cette fonctionnalité a déterminé le sort des points - le projet est devenu l'une des croissances les plus rapides de l'industrie, des applications expérimentales pour Oculus Rift ont commencé à être créées dans le monde entier et, en 2014, l'une des transactions record de l'industrie a eu lieu - Facebook a fait l'achat d'Oculus pour 2 milliards de dollars.


Figure. 1. Casque et utilisateur de réalité virtuelle Oculus Rift DK2, 2014. La

fin de 2014 a été marquée par l'apparition d'un certain nombre de casques de réalité virtuelle différents (ou, plus précisément, de casques) construits sur le même principe et conçus pour être utilisés avec un smartphone. De grandes entreprises - Samsung ( Samsung Gear VR ), Google ( Google Cardboard ), HTC ( HTC Vive ) - ont rejoint la course pour créer de tels produits , et de nombreuses startups pour la fabrication de casques sont apparues - Homido (France), Fibrum (Russie), ColorCross (Chine) ) et autres (Fig. 2.).

La différence fondamentale entre ces gadgets d'Oculus Rift était que les casques répertoriés utilisaient un smartphone inséré dans le casque comme écran. Ainsi, il n'était pas nécessaire d'utiliser un ordinateur et des fils de connexion pour connecter l'Oculus Rift, et le coût du casque est tombé à 30 $.


Figure. 2. Casques de réalité virtuelle

Actuellement (mai 2015), les casques de réalité virtuelle sont pris en charge par un grand nombre de jeux informatiques (Half-Life 2, Team Fortress 2, Mirror's Edge, War Thunder, EVE Valkyrie (ex. EVR) de CCP, DCS: World, IL-2 Sturmovik «Battle for Stalingrad», Euro Truck Simulator 2, Minecraft, Live For Speed) et plusieurs moteurs de jeu (CryEngine, Unreal Engine (versions 3 et 4), Unity, Unigine, Source, CopperCube, full liste. Vous pouvez également voir la réalité virtuelle sans casque - en faisant tourner le smartphone, mais en même temps, l'effet de présence est considérablement réduit.

Un nouveau format de divertissement est apparu et se propage activement - l'attraction "réalité virtuelle", où le client peut être dans le monde 3D pour une somme modique. L'une de ces attractions a également été collectée au Centre de conception et multimédia ITMO et a toujours été un succès auprès du public (Fig. 3.).


Figure. 3. Le gouverneur de Saint-Pétersbourg G.S. Poltavchenko se familiarise avec l'attraction "Virtual Reality" (Saint-Pétersbourg, Russie, automne 2014)

L'utilisation de casques de réalité virtuelle à des fins éducatives et de recherche nous permet de présenter les objets culturels (objets architecturaux ou expositions de musée) avec un nouveau degré de détail et les possibilités de visualisation par l'utilisateur.

Utilisation de la technologie vidéo 360 ° pour la culture et l'art


Avec l'avènement des casques de réalité virtuelle, la direction des panoramas photo et vidéo est devenue particulièrement pertinente, ainsi que l'utilisation de la technologie vidéo 360 ° dans divers domaines - des musées et des visites vidéo interactives au tournage de musique et de représentations théâtrales. En particulier, un concert enregistré dans ce format fait une impression indélébile - le spectateur, portant un casque de réalité virtuelle, se retrouve sur la scène parmi ses musiciens ou acteurs préférés.

L'ITMO Design and Multimedia Center, dans le cadre du projet Video360Production , a été l' un des premiers en Russie à lancer des expériences sur le développement de la technologie Video 360 pour les casques de réalité virtuelle. L'une des premières expériences menées conjointement avec le Center for 3D Technology de l'Université d'État des télécommunications de Saint-Pétersbourg est le tournage de la pièce «Choice» (théâtre«AX» , Saint-Pétersbourg, Russie, été 2014), adapté pour la lecture dans Oculus Rift DK1 (Fig. 4.).


Figure. 4. La performance «Choice», en mode paire stéréo (Théâtre AX, Saint-Pétersbourg, Russie, été 2014).

Une caractéristique de cette enquête expérimentale était qu'elle a été prise avec une caméra 3D ordinaire - vue à travers un casque En réalité virtuelle, l'utilisateur a vu un effet stéréo (une image différente a été créée pour chaque œil), mais il n'y avait pas de positionnement par position de tête.

Un grand succès dans le développement de la technologie Video 360 a été le tournage d'un concert de Paul McCartney, dirigé par la compagnie américaine Jaunt en août 2014.


Figure. 5. Concert de Paul McCartney, en format vidéo 3D 360 ° ("Live and Let Die", live au Candlestick park, San Francisco, USA, 14 août 2014)

Poursuite des expériences sur le tournage d'événements culturels avec possibilité de visionnement en un casque de réalité virtuelle, le personnel de l'ITMO Design and Multimedia Center a développé un équipement spécialisé pour enregistrer des vidéos à 360 ° pour divers scénarios - scènes statiques (la caméra est fixe à un moment donné), scènes dynamiques (la caméra se déplace le long d'un chemin sélectionné, contrôlée à distance), diverses méthodes de montage (bateau, quadcopter, casque, etc.).

Appareils de capture vidéo 360 °


La création de contenu au format vidéo 360 ° n'est pas une tâche triviale à ce jour, malgré le fait que des équipements spécialisés (caméras vidéo 360 °) et des logiciels pour le traitement ultérieur du matériel ont été développés.

La diffusion progressive de la technologie peut s'expliquer par un certain nombre de difficultés: une grande quantité de matériaux transformés, un traitement partiellement manuel, le coût élevé de l'équipement et, surtout, le manque d'un outil de visualisation pratique. En effet, avant l'avènement des casques de réalité virtuelle, la seule façon de visualiser la vidéo 360 ° était un lecteur spécialisé dans lequel l'utilisateur a la possibilité de tourner la vidéo autour de lui avec la souris.

Avec l'avènement des casques de réalité virtuelle, la situation a changé - l'utilisateur est "à l'intérieur" de la vidéo et ressent un degré d'immersion presque complet dans l'espace virtuel. Divers groupes créatifs et start-ups sont apparus en grand nombre, mettant en œuvre leurs propres solutions technologiques pour le tournage de vidéos à 360 °, différant par une variété et des caractéristiques notables (Fig. 6-7).


Figure. 6. Diverses dispositions de caméra pour capturer des photos et des vidéos à 360 °

Solutions de look particulièrement inhabituelles qui vous permettent de filmer des vidéos 360 ° au format 3D (pour chaque œil, sa propre sphère vidéo est créée, puis elles sont combinées dans un lecteur spécialisé pour la lecture). La vidéo 3D 360 ° donne au spectateur un sentiment d'espace plus fort que dans la version "mono" habituelle, mais nécessite beaucoup plus de ressources - à la fois pour le traitement des matériaux et pour la résolution de divers problèmes techniques. En particulier, le problème des chambres supérieures et de leur placement est distinct (de telle sorte qu'à chaque tour de tête vers le haut, le spectateur verra l'image correcte) (Fig. 7).


Figure. 7. Diverses dispositions de caméra pour la prise de photos et vidéo 360,
y compris la disposition stéréo pour la vidéo 3D 360 (par exemple, les caméras 360 Heros )

Son binaural


Une tâche spéciale lors de la création de contenu pour la réalité virtuelle, que ce soit la modélisation 3D ou la «vidéo 360 °», est l'enregistrement et la lecture du son surround - parce que l'utilisateur, étant en réalité virtuelle, doit entendre différents sons en fonction de la position de la tête!

Dans les moteurs de jeux informatiques, ce problème est résolu à l'aide d'un logiciel spécial qui définit l'emplacement des sources sonores dans l'espace virtuel. Cependant, avec l'avènement du format «Vidéo 360 °» et la possibilité d'enregistrer des concerts de musique dans ce format, il est devenu nécessaire d'enregistrer le son de manière très précise - tout comme une personne se tenant à un certain point l'entend.

À cette fin, les chercheurs utilisent le son binaural- il est enregistré sur des microphones spéciaux, en forme répétant l'oreillette humaine.


Figure. 8. Dispositifs pour enregistrer le son binaural de 3Dio

L'une des œuvres les plus célèbres filmées en utilisant la technologie du son binaural est un concert du groupe Beck:


Fig. 9. Beck, «Bonjour encore» («Sound and Vision», 2013)


. 10. Beck, «Bonjour encore» («Sound and Vision», 2013)

Hébergement vidéo 360 °


En lien avec la diffusion rapide de la technologie, la question de l'hébergement de fichiers au format «Vidéo 360 °» est pertinente. Un élément important d'un tel hébergement est la possibilité de lire non seulement des vidéos avec la possibilité de faire tourner la souris, mais aussi l'adaptation pour les casques de réalité virtuelle, à la fois stationnaires (Oculus Rift) et mobiles.

À l'heure actuelle, seuls quelques services fournissent un support complet pour «Video 360 °» - Kolor français (au moment de la rédaction de cet article a été acheté par la société américaine GoPro ), Youtube a également partiellement pris en charge Video 360 en 2015 (il y a une possibilité de rotation de la souris, mais il n'y a pas d'adaptation pour les casques) réalité virtuelle).

Borisov Nikolay Valentinovich
Design and Multimedia Center, ITMO University
Département des systèmes d'information dans les arts et les sciences humaines, Université d'État de Saint-Pétersbourg,

Artem A. Smolin
Département d'ingénierie et d'infographie, Centre de design et de multimédia, Université ITMO
Département des systèmes d'information dans les arts et sciences humaines, Université d'État de Saint-Pétersbourg

Stolyarov Denis Andreyevich
Center for Design and Multimedia, ITMO University
Department of Mathematical Linguistics, SPbSU

Nos contacts:
Projet Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles