Clever Geek Handbook

Realitas virtual: 360 video dan suara binaural

Kami menulis laporan menarik tentang teknologi realitas virtual untuk konferensi EVA Florence 2015 (Florence, Italia). Artikel itu tidak diterbitkan di mana pun dan, karena topiknya menarik dan tidak terlalu dibahas di Geektimes, kami memutuskan untuk mempostingnya di sini. Kami memberikan versi artikel Rusia yang diadaptasi, jika perlu, tambahkan tambahan, tautan, catatan.


360 video + suara binaural

pengantar


Dengan evolusi industri permainan komputer dan teknologi untuk representasi objek virtual (pemodelan 3D, panorama foto), perangkat untuk perendaman individu dan kolektif di lingkungan realitas virtual ditingkatkan secara bersamaan. Perangkat dan sistem tersebut, karena efek kehadiran, memungkinkan seseorang berada di dalam dunia virtual: permainan komputer, museum virtual, tur virtual, dll.

Pada 2013, prototipe generasi baru dari helm realitas virtual muncul - Oculus Rift (Gbr. 1) dari Oculus http://www.oculus.com, yang mengumpulkan lebih dari $ 90 juta di tempat crowdfunding di AS, serta dari berbagai investor. Fitur khas dari helm Oculus Rift adalah metode pembuatan gambar lensa - pemirsa yang mengenakan helm tidak melihat langsung pada gambar stereo, tetapi melalui lensa asferis khusus. Menggunakan lensa, dimungkinkan untuk memperluas sudut pandang secara signifikan, membuatnya dekat dengan penglihatan biologis manusia (110 ° versus 45-50 ° dalam kacamata biasa), berkat helm yang memberikan perendaman mendalam yang luar biasa dalam realitas virtual. Fitur ini menentukan nasib poin - proyek menjadi salah satu yang paling cepat berkembang di industri ini, aplikasi eksperimental untuk Oculus Rift mulai dibuat di seluruh dunia, dan pada tahun 2014 salah satu kesepakatan rekaman dalam industri berlangsung - Facebook melakukan pembelian Oculus sebesar $ 2 miliar.


Ara. 1. Helm dan pengguna realitas virtual Oculus Rift DK2, 2014.

Akhir 2014 ditandai dengan munculnya sejumlah helm realitas virtual yang berbeda (atau, lebih tepatnya, headset) yang dibangun berdasarkan prinsip yang sama dan dirancang untuk digunakan dengan smartphone. Perusahaan besar - Samsung ( Samsung Gear VR ), Google ( Google Cardboard ), HTC ( HTC Vive ) - bergabung dalam perlombaan untuk menciptakan produk-produk seperti itu , dan banyak startup untuk membuat helm muncul - Homido (Prancis), Fibrum (Rusia), ColorCross (Cina) ) dan lainnya (Gbr. 2.).

Perbedaan mendasar antara gadget ini dari Oculus Rift adalah bahwa helm yang terdaftar menggunakan smartphone yang dimasukkan ke helm sebagai layar. Jadi, tidak perlu menggunakan komputer dan menghubungkan kabel untuk menghubungkan Oculus Rift, dan biaya helm turun menjadi $ 30.


Ara. 2. Headset realitas virtual

Saat ini (Mei 2015) headset realitas virtual didukung oleh sejumlah besar permainan komputer (Half-Life 2, Team Fortress 2, Mirror's Edge, War Thunder, EVE Valkyrie (mis. EVR) dari CCP, DCS: Dunia, IL-2 Sturmovik "Battle for Stalingrad", Euro Truck Simulator 2, Minecraft, Live For Speed) dan beberapa mesin game (CryEngine, Unreal Engine (versi 3 dan 4), Unity, Unigine, Source, CopperCube, penuh daftar. Anda juga dapat melihat realitas virtual tanpa helm - dengan memutar smartphone, tetapi pada saat yang sama efek kehadiran berkurang secara signifikan.

Format hiburan baru telah muncul dan secara aktif menyebar - daya tarik "realitas virtual", di mana klien dapat berada di dunia 3D dengan biaya kecil. Salah satu atraksi ini juga dikumpulkan di Pusat Desain dan Multimedia ITMO dan selalu sukses dengan audiens (Gbr. 3.).


Ara. 3. Gubernur St. Petersburg G.S. Poltavchenko berkenalan dengan atraksi "Realitas Virtual" (St. Petersburg, Rusia, musim gugur 2014)

Penggunaan headset realitas maya untuk tujuan pendidikan dan penelitian memungkinkan kita menghadirkan benda budaya (benda arsitektur atau pameran museum) dengan tingkat detail baru dan kemungkinan untuk dilihat oleh pengguna.

Menggunakan teknologi video 360 ° untuk budaya dan seni


Dengan munculnya headset realitas maya, arah panorama foto dan video menjadi sangat relevan, serta penggunaan teknologi Video 360 ° di berbagai bidang - mulai dari museum dan tur video interaktif hingga penembakan musik dan pertunjukan teater. Secara khusus, konser yang direkam dalam format ini membuat kesan yang tak terhapuskan - penonton, mengenakan helm realitas virtual, menemukan dirinya tepat di atas panggung di antara musisi atau aktor favoritnya.

Pusat Desain dan Multimedia ITMO, sebagai bagian dari proyek Video360Produksi , adalah salah satu yang pertama di Rusia yang memulai eksperimen pada pengembangan teknologi Video 360 untuk helm realitas virtual. Salah satu eksperimen pertama yang dilakukan bersama dengan Pusat Teknologi SUT 3D - kinerja pemotretan "Choice" (Teater)"AX" , St. Petersburg, Rusia, musim panas 2014), diadaptasi untuk diputar dalam Oculus Rift DK1 (Gbr. 4.).


Ara. 4. Pertunjukan "Pilihan", dalam mode pasangan stereo ("AX" teater, St. Petersburg, Rusia, musim panas 2014).

Fitur dari survei eksperimental ini adalah bahwa itu diambil pada kamera 3D biasa - ketika dilihat melalui helm Dalam realitas virtual, pengguna melihat efek stereo (gambar berbeda dibuat untuk setiap mata), tetapi tidak ada posisi dengan posisi kepala.

Keberhasilan besar dalam pengembangan teknologi Video 360 adalah pengambilan gambar konser oleh Paul McCartney, yang dilakukan oleh perusahaan Amerika Jaunt pada Agustus 2014.


Ara. 5. Konser Paul McCartney, dalam format video 360 ° 3D (“Live and Let Die”, tayang langsung di taman Candlestick, San Francisco, AS, 14 Agustus 2014)

Melanjutkan percobaan penembakan acara budaya dengan kemungkinan menonton di helm realitas virtual, staf ITMO Desain dan Pusat Multimedia mengembangkan peralatan khusus untuk merekam video 360 ° untuk berbagai skenario - adegan statis (kamera diam di satu titik), pemandangan dinamis (kamera bergerak di sepanjang jalur yang dipilih, dikendalikan dari jarak jauh), berbagai metode pemasangan (perahu, quadcopter, helm, dll.).

Perangkat penangkapan video 360 °


Membuat konten dalam format video 360 ° bukanlah tugas sepele sampai saat ini, terlepas dari kenyataan bahwa peralatan khusus (kamera video 360 °) dan perangkat lunak untuk pemrosesan materi selanjutnya telah dikembangkan.

Penyebaran teknologi secara bertahap dapat dijelaskan oleh sejumlah kesulitan: sejumlah besar bahan olahan, sebagian proses manual, tingginya biaya peralatan, dan, yang paling penting, kurangnya alat penglihatan yang nyaman. Memang, sebelum munculnya headset realitas virtual, satu-satunya cara untuk melihat video 360 ° adalah pemain khusus di mana pengguna memiliki kemampuan untuk memutar video di sekelilingnya dengan mouse.

Dengan munculnya headset realitas virtual, situasinya telah berubah - pengguna "di dalam" video dan merasakan tingkat perendaman yang hampir lengkap di ruang virtual. Berbagai kelompok kreatif dan pemula muncul dalam jumlah besar, menerapkan solusi teknologinya sendiri untuk merekam video 360 °, berbeda dalam variasi dan karakteristik yang nyata (Gbr. 6-7).


Ara. 6. Berbagai tata letak kamera untuk mengambil foto dan video 360 °

Terutama solusi tampilan yang tidak biasa yang memungkinkan Anda untuk merekam video 360 ° dalam format 3D (untuk setiap mata, bola videonya dibuat, kemudian digabungkan dalam pemutar khusus untuk diputar). Video 3D 360 ° memberikan penonton ruang yang lebih kuat daripada versi "mono" yang biasa, tetapi membutuhkan sumber daya yang jauh lebih banyak - baik untuk memproses bahan dan untuk memecahkan berbagai masalah teknis. Secara khusus, masalah kamar atas dan penempatannya terpisah (sedemikian rupa sehingga dengan setiap putaran kepala atas penampil akan melihat gambar yang benar) (Gbr. 7).


Ara. 7. Berbagai tata letak kamera untuk memotret foto dan video 360,
termasuk tata letak stereo untuk video 3D 360 (misalnya, kamera 360 Pahlawan )

Suara binaural


Tugas khusus ketika membuat konten untuk realitas virtual, apakah itu pemodelan 3D atau "Video 360 °", adalah merekam dan memutar suara surround - karena pengguna, yang berada dalam realitas virtual, harus mendengar suara yang berbeda tergantung pada posisi kepala!

Di mesin permainan komputer, masalah ini diselesaikan dengan menggunakan perangkat lunak khusus yang menetapkan lokasi sumber suara di ruang virtual. Namun, dengan munculnya format "Video 360 °" dan kemungkinan merekam konser musik dalam format ini, menjadi perlu untuk merekam suara dengan sangat akurat - sama seperti seseorang yang berdiri pada titik tertentu mendengarnya.

Untuk tujuan ini, peneliti menggunakan apa yang disebut suara binaural- direkam pada mikrofon khusus, dalam bentuk mengulangi daun telinga manusia.


Ara. 8. Perangkat untuk merekam suara binaural dari 3Dio.

Salah satu karya paling terkenal yang difilmkan menggunakan teknologi suara binaural adalah konser band Beck:


Gbr. 9. Beck, "Halo lagi" ("Sound and Vision", 2013)


. 10. Beck, "Halo lagi" ("Sound and Vision", 2013)

Hosting video 360 °


Sehubungan dengan penyebaran teknologi yang sangat cepat, masalah yang mendesak adalah pengorganisasian hosting untuk file dalam format "Video 360 °". Komponen penting dari hosting tersebut adalah kemampuan untuk tidak hanya memutar video dengan kemampuan untuk memutar mouse, tetapi juga adaptasi untuk headset realitas virtual, baik stasioner (Oculus Rift) dan mobile.

Saat ini, hanya sedikit layanan yang memberikan dukungan penuh untuk "Video 360 °" - French Kolor (pada saat penulisan artikel ini dibeli oleh perusahaan Amerika GoPro ), Youtube juga mendukung sebagian Video 360 pada 2015 (ada kemungkinan rotasi mouse, tetapi tidak ada adaptasi untuk headset realitas maya). Pusat Desain dan Multimedia

Borisov Nikolay Valentinovich
, Universitas ITMO
Departemen Sistem Informasi dalam Seni dan Humaniora, Universitas Negeri St. Petersburg,

Artem A. Smolin
Departemen Teknik dan Grafik Komputer, Pusat Desain dan Multimedia, Universitas ITMO
Departemen Sistem Informasi dalam Seni dan Humaniora, Universitas Negeri St. Petersburg

Stolyarov Denis Andreyevich
Pusat Desain dan Multimedia, ITMO Universitas
Departemen Matematika Linguistik Matematika, SPbSU

Kontak kami:
Project Video360Production.com
denis1900@mail.ru Stolyarov Denis

More articles:


All Articles