Clever Geek Handbook

Realidade virtual: vídeo 360 e som binaural

Escrevemos um relatório interessante sobre tecnologias de realidade virtual para a conferência EVA Florence 2015 (Florença, Itália). O artigo não foi publicado em nenhum lugar e, como o tópico é interessante e não é muito abordado no Geektimes, decidimos publicá-lo aqui. Fornecemos uma versão adaptada do artigo em russo, se necessário, adicionamos adições, links e notas.


Vídeo 360 + som binaural

Introdução


Com a evolução da indústria de jogos de computador e das tecnologias para representação virtual de objetos (modelagem 3D, panoramas fotográficos), dispositivos para imersão individual e coletiva em ambientes de realidade virtual foram aprimorados simultaneamente. Tais dispositivos e sistemas, devido ao efeito da presença, permitem que uma pessoa esteja dentro do mundo virtual: um jogo de computador, um museu virtual, um tour virtual etc.

Em 2013, apareceu um protótipo de um capacete de realidade virtual de nova geração - Oculus Rift (Fig. 1.) de Oculus http://www.oculus.com, que levantou mais de US $ 90 milhões em locais de financiamento coletivo nos EUA, bem como de vários investidores. Uma característica distintiva do capacete Oculus Rift é o método de construção de imagem da lente - o espectador que coloca o capacete não olha diretamente para a imagem estéreo, mas através de lentes asféricas especiais. Usando lentes, foi possível expandir significativamente o ângulo de visão, aproximando-o da visão biológica humana (110 ° versus 45-50 ° em óculos comuns), graças ao qual o capacete proporciona uma imersão incomumente profunda na realidade virtual. Esse recurso determinou o destino dos pontos - o projeto se tornou um dos que mais crescem no setor, aplicativos experimentais para o Oculus Rift começaram a ser criados em todo o mundo e, em 2014, um dos acordos recordes do setor - o Facebook fez a compra do Oculus por US $ 2 bilhões.


FIG. 1. Capacete e usuário de realidade virtual Oculus Rift DK2, 2014. O

final de 2014 foi marcado pelo aparecimento de vários capacetes de realidade virtual diferentes (ou, mais precisamente, fones de ouvido) construídos com o mesmo princípio e projetados para uso com um smartphone. A corrida para criar esses produtos incluiu grandes empresas - Samsung ( Samsung Gear VR ), Google ( Google Cardboard ), HTC ( HTC Vive ) e muitas startups para fabricação de capacetes - Homido (França), Fibrum (Rússia), ColorCross (China) ) e outros (Fig. 2.).

A diferença fundamental entre esses gadgets da Oculus Rift foi que os capacetes listados usavam um smartphone inserido no capacete como uma tela. Portanto, não havia necessidade de usar um computador e conectar fios para conectar o Oculus Rift, e o custo do capacete caiu para US $ 30.


FIG. 2. Headsets de realidade virtual

Atualmente (maio de 2015), os headsets de realidade virtual são suportados por um grande número de jogos de computador (Half-Life 2, Team Fortress 2, Mirror's Edge, War Thunder, EVE Valkyrie (ex. EVR) da CCP, DCS: World, IL-2 Sturmovik “Battle for Stalingrad”, Euro Truck Simulator 2, Minecraft, Live For Speed) e vários mecanismos de jogos (CryEngine, Unreal Engine (versões 3 e 4), Unity, Unigine, Source, CopperCube, completos Lista. Você também pode ver a realidade virtual sem capacete - girando o smartphone, mas ao mesmo tempo o efeito da presença é reduzido significativamente.

Um novo formato de entretenimento apareceu e está se espalhando ativamente - a atração "realidade virtual", onde o cliente pode estar no mundo 3D por uma pequena taxa. Uma dessas atrações também foi coletada no Centro de Design e Multimídia da ITMO e sempre foi um sucesso para o público (Fig. 3.).


FIG. 3. O governador de São Petersburgo, G.S. Poltavchenko se familiariza com a atração "Realidade virtual" (São Petersburgo, Rússia, outono de 2014)

O uso de fones de ouvido de realidade virtual para fins educacionais e de pesquisa nos permite apresentar objetos culturais (objetos de arquitetura ou exposições em museus) com um novo grau de detalhe e as possibilidades de visualização pelo usuário.

Usando a tecnologia de vídeo em 360 ° para cultura e arte


Com o advento dos fones de ouvido de realidade virtual, a direção dos panoramas de foto e vídeo tornou-se especialmente relevante, bem como o uso da tecnologia de vídeo em 360 ° em vários campos - de museus e tours interativos a gravações de música e performances teatrais. Em particular, um concerto gravado neste formato causa uma impressão indelével - o espectador, usando um capacete de realidade virtual, encontra-se no palco entre seus músicos ou atores favoritos.

O ITMO Design and Multimedia Center, como parte do projeto Video360Production , foi um dos primeiros na Rússia a começar a experimentar o desenvolvimento da tecnologia Video 360 para capacetes de realidade virtual. Um dos primeiros experimentos realizados em conjunto com o Centro de Tecnologia 3D da Universidade Estadual de Telecomunicações de São Petersburgo é a filmagem da peça “Choice” (teatro).“AX” , São Petersburgo, Rússia, verão de 2014), adaptado para reprodução no Oculus Rift DK1 (Fig. 4.).


FIG. 4. A performance “Choice”, no modo de estéreo (teatro “AX”, São Petersburgo, Rússia, verão de 2014)

Uma característica desta pesquisa experimental foi que ela foi filmada em uma câmera 3D comum - quando vista através de um capacete Na realidade virtual, o usuário viu um efeito estéreo (uma imagem diferente foi criada para cada olho), mas não houve posicionamento por posição da cabeça.

Um grande sucesso no desenvolvimento da tecnologia Video 360 foi a gravação de um show de Paul McCartney, realizado pela empresa americana Jaunt em agosto de 2014.


FIG. 5. Concerto de Paul McCartney, em formato de vídeo 360 ° 3D ( “Live and Let Die”, ao vivo no parque do castiçal, San Francisco, EUA, 14 de agosto, 2014)

Continuando experiências em gravações de eventos culturais com a possibilidade de visualização em um capacete de realidade virtual, a equipe do ITMO Design e do Multimedia Center desenvolveu equipamentos especializados para gravar vídeo em 360 ° para vários cenários - cenas estáticas (a câmera está estacionária em um ponto), cenas dinâmicas (a câmera se move por um caminho selecionado, controlado remotamente), vários métodos de montagem (barco, quadcopter, capacete, etc.).

Dispositivos de captura de vídeo em 360 °


Criar conteúdo em formato de vídeo em 360 ° não é uma tarefa trivial até o momento, apesar do desenvolvimento de equipamentos especializados (câmeras de vídeo em 360 °) e software para processamento subsequente de material.

A disseminação gradual da tecnologia pode ser explicada por várias dificuldades: uma grande quantidade de materiais processados, processamento parcialmente manual, o alto custo do equipamento e, o mais importante, a falta de uma ferramenta de visualização conveniente. De fato, antes do advento dos fones de ouvido de realidade virtual, a única maneira de ver vídeos em 360 ° era um player especializado no qual o usuário podia girar o vídeo ao seu redor com o mouse.

Com o advento dos fones de ouvido de realidade virtual, a situação mudou - o usuário está "dentro" do vídeo e sente um grau quase completo de imersão no espaço virtual. Vários grupos criativos e start-ups apareceram em grande número, implementando suas próprias soluções tecnológicas para a gravação de vídeos em 360 °, caracterizadas por uma variedade e características visíveis (Fig. 6-7).


FIG. 6. Vários layouts de câmera para capturar fotos e vídeos em 360 °

Soluções de aparência especialmente incomuns que permitem gravar vídeos em 360 ° no formato 3D (para cada olho, sua própria esfera de vídeo é criada e depois combinadas em um player especializado para reprodução). O vídeo 3D em 360 ° proporciona ao espectador uma sensação de espaço mais forte do que na versão "mono" usual, mas requer significativamente mais recursos - tanto para o processamento de materiais quanto para a solução de vários problemas técnicos. Em particular, o problema das câmaras superiores e sua localização é separado (de maneira que, com qualquer virada da cabeça para cima, o espectador veja a imagem correta) (Fig. 7).


FIG. 7. Vários layouts de câmera para tirar fotos e vídeo 360,
incluindo layout estéreo para vídeo 3D 360 (por exemplo, câmeras 360 Heros )

Som binaural


Uma tarefa especial ao criar conteúdo para realidade virtual, seja na modelagem 3D ou no "vídeo 360 °", é a gravação e a reprodução de som surround - porque o usuário, na realidade virtual, deve ouvir sons diferentes, dependendo da posição da cabeça!

Nos mecanismos de jogos de computador, esse problema é resolvido usando um software especial que define a localização das fontes sonoras no espaço virtual. No entanto, com o advento do formato “Video 360 °” e a possibilidade de gravar shows de música nesse formato, tornou-se necessário gravar o som com muita precisão - exatamente como uma pessoa que está em um determinado ponto ouve.

Para esse fim, os pesquisadores usam o chamado som binaural- é gravado em microfones especiais, em forma de repetição da aurícula humana.


FIG. 8. Dispositivos para gravação de som binaural do 3Dio

Um dos trabalhos mais famosos filmados usando a tecnologia de som binaural é um show da banda Beck:


Fig. 9. Beck, “Olá novamente” (“Sound and Vision”, 2013)


. 10. Beck, “olá novamente” (“Sound and Vision”, 2013)

Hospedagem de vídeo em 360 °


Em conexão com a rápida disseminação da tecnologia, a questão urgente é a organização da hospedagem de arquivos no formato “Video 360 °”. Um componente importante dessa hospedagem é a capacidade de não apenas reproduzir vídeos com a capacidade de girar o mouse, mas também a adaptação para fones de realidade virtual, tanto fixos (Oculus Rift) quanto móveis.

No momento, apenas alguns serviços oferecem suporte completo ao “Video 360 °” - francês Kolor (no momento em que este artigo foi comprado pela empresa americana GoPro ), o YouTube também suportava parcialmente o Video 360 em 2015 (existe a possibilidade de rotação do mouse, mas não há adaptação para fones de ouvido) realidade virtual).

Borisov Nikolay Valentinovich
Design e Centro de Multimídia, Universidade ITMO
Departamento de Sistemas de Informação nas Artes e Humanidades, St. Petersburg State University

Artolin A. Smolin
Departamento de Engenharia e Computação Gráfica, Centro de Design e Multimédia, ITMO Universidade
Departamento de Sistemas de Informação nas Artes e Humanidades, St. Petersburg Estado Universidade

Stolyarov Denis Andreyevich
Centro de Design e Multimédia, ITMO Universidade
Departamento de Matemática Linguística, SPbSU

Nossos contatos:
Projeto Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles