Clever Geek Handbook

Realidad virtual: video 360 y sonido binaural

Escribimos un informe interesante sobre tecnologías de realidad virtual para la conferencia EVA Florencia 2015 (Florencia, Italia). El artículo no se publicó en ninguna parte y, dado que el tema es interesante y no está demasiado cubierto en Geektimes, decidimos publicarlo aquí. Damos una versión rusa adaptada del artículo, si es necesario, agregamos adiciones, enlaces, notas.


Video 360 + sonido binaural

Introducción


Con la evolución de la industria de los juegos de computadora y las tecnologías para la representación virtual de objetos (modelado 3D, fotos panorámicas), se mejoraron simultáneamente los dispositivos para inmersión individual y colectiva en entornos de realidad virtual. Dichos dispositivos y sistemas, debido al efecto de la presencia, permiten a una persona estar dentro del mundo virtual: un juego de computadora, un museo virtual, un recorrido virtual, etc.

En 2013, apareció un prototipo de una nueva generación de cascos de realidad virtual: Oculus Rift (Fig. 1.) de Oculus http://www.oculus.com, que recaudó más de $ 90 millones en lugares de crowdfunding en los EE. UU., así como de varios inversores. Una característica distintiva del casco Oculus Rift es el método de lente de construcción de imagen: el espectador que se pone el casco no mira directamente la imagen estéreo, sino a través de lentes asféricas especiales. Utilizando lentes, fue posible expandir significativamente el ángulo de visión, acercándolo a la visión biológica de una persona (110 ° versus 45-50 ° en anteojos comunes), gracias a lo cual el casco proporciona una inmersión inusualmente profunda en la realidad virtual. Esta característica determinó el destino de los puntos: el proyecto se convirtió en uno de los de más rápido crecimiento en la industria, las aplicaciones experimentales para Oculus Rift comenzaron a crearse en todo el mundo, y en 2014 tuvo lugar uno de los acuerdos discográficos en la industria: Facebook compró Oculus por $ 2 mil millones.


Higo. 1. Casco y usuario de realidad virtual Oculus Rift DK2, 2014. El

final de 2014 estuvo marcado por la aparición de una serie de diferentes cascos de realidad virtual (o, más precisamente, auriculares) construidos con el mismo principio y destinados a ser utilizados con un teléfono inteligente. La carrera para crear tales productos incluyó grandes empresas: Samsung ( Samsung Gear VR ), Google ( Google Cardboard ), HTC ( HTC Vive ) y muchas nuevas empresas para hacer cascos: Homido (Francia), Fibrum (Rusia), ColorCross (China) ) y otros (Fig. 2.).

La diferencia fundamental entre estos dispositivos de Oculus Rift fue que los cascos mencionados usaban un teléfono inteligente insertado en el casco como pantalla. Por lo tanto, no había necesidad de usar una computadora y cables de conexión para conectar el Oculus Rift, y el costo del casco cayó a $ 30.


Higo. 2. Cascos de realidad virtual

En la actualidad (mayo de 2015), los cascos de realidad virtual son compatibles con una gran cantidad de juegos de computadora (Half-Life 2, Team Fortress 2, Mirror's Edge, War Thunder, EVE Valkyrie (ex. EVR) de CCP, DCS: World, IL-2 Sturmovik "Battle for Stalingrad", Euro Truck Simulator 2, Minecraft, Live For Speed) y varios motores de juego (CryEngine, Unreal Engine (versiones 3 y 4), Unity, Unigine, Source, CopperCube, full lista. También puede ver la realidad virtual sin casco, girando el teléfono inteligente, pero al mismo tiempo el efecto de la presencia se reduce significativamente.

Ha aparecido un nuevo formato de entretenimiento y se está extendiendo activamente: la atracción "realidad virtual", donde el cliente puede estar en el mundo 3D por una pequeña tarifa. Una de estas atracciones también se recolectó en el Centro de Diseño y Multimedia de ITMO y siempre ha sido un éxito con la audiencia (Fig. 3.).


Higo. 3. El gobernador de San Petersburgo G.S. Poltavchenko se familiariza con la atracción "Realidad virtual" (San Petersburgo, Rusia, otoño de 2014)

El uso de auriculares de realidad virtual con fines educativos y de investigación nos permite presentar objetos culturales (objetos arquitectónicos o exhibiciones de museos) con un nuevo grado de detalle y las posibilidades de visualización por parte del usuario.

Usando tecnología de video 360 ° para cultura y arte


Con el advenimiento de los auriculares de realidad virtual, la dirección de los panoramas de fotos y videos se ha vuelto especialmente relevante, así como el uso de la tecnología de video 360 ° en varios campos, desde museos y recorridos de video interactivos hasta grabaciones de música y representaciones teatrales. En particular, un concierto grabado en este formato causa una impresión indeleble: el espectador, con un casco de realidad virtual, se encuentra en el escenario entre sus músicos o actores favoritos.

El Centro de Diseño y Multimedia ITMO, como parte del proyecto Video360Production , fue uno de los primeros en Rusia en comenzar a experimentar con el desarrollo de la tecnología Video 360 para cascos de realidad virtual. Uno de los primeros experimentos realizados conjuntamente con el Centro de Tecnología 3D de la Universidad Estatal de Telecomunicaciones de San Petersburgo es el rodaje de la obra "Elección" (teatro“AX” , San Petersburgo, Rusia, verano 2014), adaptado para reproducción en Oculus Rift DK1 (Fig. 4.).


Higo. 4. La actuación "Elección", en modo estéreo-par (teatro "AX", San Petersburgo, Rusia, verano 2014).

Una característica de esta encuesta experimental fue que fue filmada en una cámara 3D normal, cuando se ve a través de un casco En la realidad virtual, el usuario vio un efecto estéreo (se creó una imagen diferente para cada ojo), pero no hubo posicionamiento por posición de la cabeza.

Un gran éxito en el desarrollo de la tecnología Video 360 fue el rodaje de un concierto de Paul McCartney, dirigido por la compañía estadounidense Jaunt en agosto de 2014.


Higo. 5. Concierto de Paul McCartney, en formato de video 3D en 360 ° (“Live and Let Die”, en vivo en el parque Candlestick, San Francisco, EE. UU., 14 de agosto de 2014)

Experimentos continuos sobre el rodaje de eventos culturales con la posibilidad de ver en un casco de realidad virtual, el personal de ITMO Design and Multimedia Center desarrolló equipos especializados para grabar videos de 360 ​​° para diversos escenarios: escenas estáticas (la cámara está estacionaria en un punto), escenas dinámicas (la cámara se mueve a lo largo de un camino seleccionado, controlado de forma remota), varios métodos de montaje (bote, quadcopter, casco, etc.).

Dispositivos de captura de video 360 °


Crear contenido en formato de video 360 ° no es una tarea trivial hasta la fecha, a pesar del hecho de que se han desarrollado equipos especializados (cámaras de video 360 °) y software para el procesamiento posterior del material.

La difusión gradual de la tecnología puede explicarse por una serie de dificultades: una gran cantidad de materiales procesados, procesamiento parcialmente manual, el alto costo del equipo y, lo más importante, la falta de una herramienta de visualización conveniente. De hecho, antes de la llegada de los auriculares de realidad virtual, la única forma de ver videos en 360 ° era un reproductor especializado en el que el usuario tenía la capacidad de girar el video a su alrededor con el mouse.

Con la llegada de los auriculares de realidad virtual, la situación ha cambiado: el usuario está "dentro" del video y siente un grado casi completo de inmersión en el espacio virtual. Varios grupos creativos y nuevas empresas aparecieron en gran número, implementando sus propias soluciones tecnológicas para grabar videos de 360 ​​°, caracterizados por una notable variedad y características (Fig. 6-7).


Higo. 6. Varios diseños de cámara para capturar fotos y videos de 360 ​​°

Soluciones de aspecto especialmente inusuales que le permiten grabar videos de 360 ​​° en formato 3D (para cada ojo, se crea su propia esfera de video, luego se combinan en un reproductor especializado para la reproducción). El video 3D 360 ° le da al espectador una sensación de espacio más fuerte que en la versión "mono" habitual, pero requiere significativamente más recursos, tanto para procesar materiales como para resolver diversos problemas técnicos. En particular, el problema de las cámaras superiores y su ubicación es independiente (de tal manera que con cualquier giro de la cabeza hacia arriba, el espectador verá la imagen correcta) (Fig. 7).


Higo. 7. Varios diseños de cámara para tomar fotos y video 360,
incluido el diseño estéreo para video 3D 360 (por ejemplo, cámaras 360 Heros )

Sonido binaural


Una tarea especial al crear contenido para realidad virtual, ya sea modelado 3D o "video 360 °", es la grabación y reproducción de sonido envolvente, ¡porque el usuario, al estar en realidad virtual, debe escuchar diferentes sonidos dependiendo de la posición de la cabeza!

En los motores de juegos de computadora, este problema se resuelve utilizando un software especial que establece la ubicación de las fuentes de sonido en el espacio virtual. Sin embargo, con el advenimiento del formato "Video 360 °" y la posibilidad de grabar conciertos de música en este formato, se hizo necesario grabar el sonido con mucha precisión, tal como lo escucha una persona parada en cierto punto.

Para este propósito, los investigadores usan el llamado sonido binaural- se graba en micrófonos especiales, en forma que repite la aurícula humana.


Higo. 8. Dispositivos para grabar sonido binaural de 3Dio

Una de las obras más famosas filmadas con tecnología de sonido binaural es un concierto de la banda Beck:


Fig. 9. Beck, "Hola de nuevo" ("Sonido y visión", 2013)


. 10. Beck, "Hola de nuevo" ("Sonido y visión", 2013)

Alojamiento de video 360 °


En relación con la rápida difusión de la tecnología, el problema urgente es la organización de alojamiento de archivos en el formato "Video 360 °". Un componente importante de dicho alojamiento es la capacidad no solo de reproducir videos con la capacidad de girar el mouse, sino también la adaptación para auriculares de realidad virtual, tanto estacionarios (Oculus Rift) como móviles.

Por el momento, solo unos pocos servicios brindan soporte completo para “Video 360 °” - French Kolor (en el momento de escribir este artículo fue comprado por la compañía estadounidense GoPro ), Youtube también admitió parcialmente Video 360 en 2015 (existe la posibilidad de rotación del mouse, pero no hay adaptación para auriculares) realidad virtual).

Borisov Nikolay Valentinovich
Centro de Diseño y Multimedia, Universidad ITMO
Departamento de Sistemas de Información en las Artes y Humanidades, Universidad Estatal de San Petersburgo,

Artem A. Smolin
Departamento de Ingeniería y Gráficos por Computadora, Centro de Diseño y Multimedia, ITMO
Departamento de Sistemas de Información en las Artes y Humanidades de la Universidad, Universidad Estatal de San Petersburgo

Stolyarov Denis Andreyevich
Centro de Diseño y Multimedia,
Departamento de Lingüística Matemática de la Universidad ITMO , SPbSU

Nuestros contactos:
Proyecto Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles