Clever Geek Handbook

虚拟现实：360视频和双耳声音

我们为2015年EVA佛罗伦萨会议（意大利佛罗伦萨）撰写了有关虚拟现实技术的有趣报告。该文章未在任何地方发表，并且由于该主题很有趣且在Geektimes上没有涉及太多，因此我们决定在此处发布。我们提供了该文章的俄文版本，如有必要，请添加任何补充，链接，注释。


360视频+双耳声音

介绍


随着计算机游戏行业的发展和用于对象的虚拟表示（3D建模，照片全景）的技术，用于个人和集体沉浸在虚拟现实环境中的设备也得到了改进。由于存在的影响，这样的设备和系统允许一个人进入虚拟世界内部：计算机游戏，虚拟博物馆，虚拟游览等。

2013年，新一代虚拟现实头盔的原型出现了-来自Oculus http://www.oculus.com的 Oculus Rift（图1）。，该公司在美国以及其他投资者的众筹场所筹集了超过9000万美元的资金。 Oculus Rift头盔的一个显着特征是镜头成像方法-戴上头盔的观察者不会直接看立体图像，而是通过特殊的非球面镜片观看。使用镜头，可以显着扩大视角，使其接近人类的生物视力（普通眼镜中为110°，而普通眼镜中为45-50°），因此头盔可将其深深地浸入虚拟现实中。这一功能决定了这一点的命运-该项目成为业界增长最快的项目之一，全球范围内开始创建Oculus Rift的实验应用程序，2014年该行业出现了创纪录的交易之一-Facebook以20亿美元的价格收购了Oculus。


图。 1. Oculus Rift DK2虚拟现实头盔和用户，2014年。2014

年底出现了许多基于相同原理并设计用于智能手机的不同虚拟现实头盔（或更准确地说，耳机）。制造此类产品的竞赛包括大型公司-三星（Samsung Gear VR），谷歌（Google Cardboard），宏达电（HTC Vive），以及许多制造头盔的初创公司- 霍米多（法国），Fibrum（俄罗斯），ColorCross（中国） ）和其他（图2）。

这些来自Oculus Rift的小工具之间的根本区别是，列出的头盔使用了插入屏幕的智能手机作为屏幕。因此，无需使用计算机和连接线来连接Oculus Rift，头盔的成本降至30美元。


图。 2.虚拟现实头戴式耳机

目前（2015年5月），许多计算机游戏都支持虚拟现实头戴式耳机（半条命2，团队要塞2，镜之边缘，战争雷霆，CCP的EVE Valkyrie（例如EVR）， DCS：World，IL-2 Sturmovik“斯大林格勒战役”，Euro Truck Simulator 2，Minecraft，Live for Speed）和多个游戏引擎（CryEngine，虚幻引擎（版本3和4），Unity，Unigine，Source，CopperCube，完整）清单。您也可以不戴头盔地观看虚拟现实-旋转智能手机，但同时会大大降低显示效果。

一种新的娱乐形式已经出现并正在积极传播-吸引人的“虚拟现实”，客户只需支付少量费用就可以进入3D世界。这些景点之一也是在ITMO设计和多媒体中心收集的，并一直在观众中获得成功（图3）。


图。 3.圣彼得堡总督Poltavchenko熟悉了“虚拟现实”这一景点（俄罗斯圣彼得堡，2014年秋季）

通过将虚拟现实耳机用于教育和研究目的，您可以以新的细节程度和用户查看的可能性来呈现文化对象（建筑对象或博物馆展览品）。

将360°视频技术用于文化和艺术


随着虚拟现实耳机的出现，照片和视频全景图的方向变得尤为重要，并且在博物馆，互动视频之旅，音乐拍摄和戏剧表演等各个领域都使用了360°视频技术。特别是，以这种格式录制的音乐会给人留下了无法磨灭的印象-戴着虚拟现实头盔的观众发现自己正处在他最喜欢的音乐家或演员的舞台上。

作为Video360Production项目的一部分的ITMO设计和多媒体中心是俄罗斯第一个开始尝试开发用于虚拟现实头盔的Video 360技术的国家之一。与圣彼得堡国立电信大学3D技术中心联合进行的首批实验之一是对剧本“ Choice”（剧院）的拍摄“ AXE”，俄罗斯圣彼得堡，2014年夏季），适用于在Oculus Rift DK1中播放（图4）。


图。 4.立体声对模式下的表演“选择”（AX剧院，圣彼得堡，俄罗斯，2014年夏季）

该实验调查的一个特点是，它是用普通的3D相机拍摄的-通过头盔观看在虚拟现实中，用户看到了立体效果（为每只眼睛创建了不同的图片），但没有按头部位置进行定位。

Video 360技术的发展取得了巨大成功，这是由美国公司Jaunt于2014年8月举办的Paul McCartney演唱会的拍摄。


图。5.保罗·麦卡特尼（Paul McCartney）的音乐会，采用360°3D视频格式（“ Live and Let Die”，2014年8月14日在美国旧金山烛台公园举行）

继续进行拍摄文化活动的实验，并有可能在作为虚拟现实头盔，ITMO设计和多媒体中心的工作人员开发了用于在各种场景下录制360°视频的专用设备-静态场景（相机固定在一个点上），动态场景（相机沿着选定的路径移动，可以远程控制），各种安装方法（船，四轴飞行器，头盔等）。

360°视频采集设备


尽管已经开发了用于后续材料处理的专用设备（360°摄像机）和软件，但迄今为止，以360°视频格式创建内容并不是一件容易的事。

技术的逐步普及可以用许多困难来解释：大量加工材料，部分手工加工，设备成本高以及最重要的是缺乏便捷的查看工具。的确，在虚拟现实耳机问世之前，观看360°视频的唯一方法是使用专门的播放器，用户可以用鼠标在他周围转动视频。

随着虚拟现实耳机的出现，情况已经发生了变化-用户位于视频“内部”，几乎可以完全浸入虚拟空间。各种各样的创意团体和初创企业大量出现，它们实施了自己的技术解决方案来拍摄360°视频，但其种类和特征却各不相同（图6-7）。


图。 6.多种摄像头布局，可捕捉360°照片和视频

特别是非同寻常的外观解决方案，可让您以3D格式拍摄360°视频（为每只眼睛创建自己的视频球，然后将它们组合在专门的播放器中进行播放）。3D视频360°给观看者带来比通常的“单声道”版本更强的空间感，但需要大量资源-用于处理材料和解决各种技术问题。特别地，上腔室及其放置的问题是分开的（以这样的方式，只要头朝上转动，观看者就可以看到正确的图像）（图7）。


图。7.用于拍摄照片和视频360的各种相机布局，
包括3D视频360的立体布局（例如360 Heros相机）

双耳声音


为虚拟现实创建内容时（无论是3D建模还是360°视频），一项特殊的任务是环绕声的录制和回放-因为处于虚拟现实中的用户必须根据头部的位置听到不同的声音！

在计算机游戏引擎中，使用设置虚拟空间中声源位置的特殊软件可以解决此问题。但是，随着“ Video 360°”格式的出现以及以这种格式录制音乐演唱会的可能性，就必须非常准确地录制声音-就像站在某个点的人听到的一样。

为此，研究人员使用了所谓的双耳声音-它被记录在特殊的麦克风上，形状重复了人的耳廓。


图。8.设备从记录双耳声音3Dio

一个使用双声道音效技术是一个骨节乐队演唱会拍摄的最著名的作品：


图。9.贝克，“再次问好”（“声音与视觉”，2013年）


。10.贝克，“再次问好”（“声音与视觉”，2013年）

360°视频托管


与技术的迅速普及相关，当务之急是组织“视频360°”格式的文件的托管。这种托管的重要组成部分是不仅具有播放视频和旋转鼠标的能力，而且还适用于固定式（Oculus Rift）和移动式虚拟现实耳机。

目前，只有很少的服务为“ Video 360°”提供完全支持-法语Kolor（在撰写本文时被美国GoPro收购），Youtube在2015年也部分支持Video 360（鼠标可能会旋转，但无法适应耳机虚拟现实）。 ITMO大学的

Borisov Nikolay Valentinovich
设计和多媒体中心
圣彼得堡国立大学艺术与人文科学系信息系统系

Artolin A. Smolin
ITMO大学设计与多媒体中心工程与计算机图形学
系，圣彼得堡国立大学

Stolyarov Denis Andreyevich信息系统与艺术 系系
ITMO大学
数学语言学系， SPbSU

我们的联系人：
Project Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles