🧝 🍟 🗯️ आभासी वास्तविकता: 360 वीडियो और द्विअक्षीय ध्वनि 🗻 ✌🏾 🚞

हमने ईवा फ्लोरेंस 2015 सम्मेलन (फ्लोरेंस, इटली) के लिए आभासी वास्तविकता प्रौद्योगिकियों पर एक दिलचस्प रिपोर्ट लिखी । लेख कहीं भी प्रकाशित नहीं किया गया था और चूंकि विषय दिलचस्प है और गीकटाइम्स में भी शामिल नहीं है, इसलिए हमने इसे यहां पोस्ट करने का फैसला किया। हम लेख का एक अनुकूलित रूसी संस्करण देते हैं, यदि आवश्यक हो, तो कोई भी जोड़, लिंक, नोट्स जोड़ें।

360 वीडियो + द्विअक्षीय ध्वनि

परिचय

वस्तुओं के आभासी प्रतिनिधित्व के लिए कंप्यूटर गेम उद्योग और प्रौद्योगिकियों के विकास के साथ (3 डी मॉडलिंग, फोटो पैनोरमा), आभासी वास्तविकता के वातावरण में व्यक्तिगत और सामूहिक विसर्जन के लिए उपकरणों को एक साथ सुधार किया गया था। इस तरह के उपकरण और सिस्टम, उपस्थिति के प्रभाव के कारण, किसी व्यक्ति को आभासी दुनिया के अंदर होने की अनुमति देते हैं: एक कंप्यूटर गेम, एक आभासी संग्रहालय, एक आभासी दौरे, आदि।

2013 में, आभासी वास्तविकता हेलमेट की एक नई पीढ़ी का एक प्रोटोटाइप दिखाई दिया - ओकुलस http://www.oculus.com से ओकुलस रिफ्ट (छवि 1.) ।, जिसने संयुक्त राज्य अमेरिका में क्राउडफंडिंग स्थानों पर $ 90 मिलियन से अधिक का निवेश किया, साथ ही साथ विभिन्न निवेशकों से भी। ओकुलस रिफ्ट हेलमेट की एक विशिष्ट विशेषता लेंस छवि निर्माण विधि है - जो दर्शक हेलमेट पर रखता है वह सीधे स्टीरियो छवि पर नहीं दिखता है, बल्कि विशेष रूप से aspherical लेंस के माध्यम से। लेंस का उपयोग करना, देखने के कोण को महत्वपूर्ण रूप से विस्तारित करना संभव था, जिससे यह मानव जैविक दृष्टि (साधारण चश्मे में 110 डिग्री बनाम 45-50 °) के करीब हो गया, धन्यवाद जिससे हेलमेट आभासी वास्तविकता में असामान्य रूप से गहरा विसर्जन प्रदान करता है। इस विशेषता ने बिंदुओं के भाग्य को निर्धारित किया - परियोजना उद्योग में सबसे तेजी से बढ़ती हुई बन गई, ओकुलस रिफ्ट के लिए प्रायोगिक अनुप्रयोग दुनिया भर में बनाए जाने लगे और 2014 में उद्योग में रिकॉर्ड सौदों में से एक हुआ - फेसबुक ने ओकुलस की खरीद $ 2 बिलियन में की।

अंजीर। 1. ओकुलस रिफ्ट DK2 आभासी वास्तविकता हेलमेट और उपयोगकर्ता, 2014। 2014 के

अंत में एक ही सिद्धांत पर निर्मित विभिन्न आभासी वास्तविकता हेलमेट (या, अधिक सटीक, हेडसेट) की एक संख्या के रूप में चिह्नित किया गया था और एक स्मार्टफोन के साथ उपयोग के लिए डिज़ाइन किया गया था। ऐसे उत्पादों को बनाने की दौड़ में बड़ी कंपनियां शामिल थीं - सैमसंग ( सैमसंग गियर वीआर ), गूगल ( गूगल कार्डबोर्ड ), एचटीसी ( एचटीसी विवे ), और हेलमेट बनाने के लिए कई स्टार्टअप - होमिडो (फ्रांस), फाइब्रम (रूस), कलरक्रॉस (चीन) ) और अन्य (छवि 2.)।

Oculus Rift के इन गैजेट्स के बीच मूलभूत अंतर यह था कि सूचीबद्ध हेलमेट एक स्क्रीन के रूप में हेलमेट में डाले गए स्मार्टफोन का उपयोग करते थे। इस प्रकार, ओकुलस रिफ्ट को जोड़ने के लिए एक कंप्यूटर और कनेक्टिंग तारों का उपयोग करने की आवश्यकता नहीं थी, और हेलमेट की लागत $ 30 तक गिर गई।

अंजीर। 2. वर्चुअल रियलिटी हेडसेट

वर्तमान में (मई 2015), वर्चुअल रियलिटी हेडसेट्स को बड़ी संख्या में कंप्यूटर गेम (हाफ-लाइफ 2, टीम फोर्ट 2, मिरर एज, वॉर थंडर, ईवीई वल्करी (पूर्व। ईवीआर)) द्वारा समर्थित किया जाता है। DCS: वर्ल्ड, IL-2 स्टर्मोविक "स्टेलिनग्राद के लिए लड़ाई", यूरो ट्रक सिम्युलेटर 2, Minecraft, स्पीड के लिए लाइव) और कई गेम इंजन (CryEngine, Unreal Engine (संस्करण 3 और 4), Unity, Unigine, Source, CopperCube, पूर्ण) सूची। आप बिना हेलमेट के भी स्मार्टफोन को घुमाकर वर्चुअल रियलिटी देख सकते हैं, लेकिन साथ ही साथ उपस्थिति का प्रभाव काफी कम हो जाता है।

मनोरंजन का एक नया प्रारूप दिखाई दिया है और सक्रिय रूप से फैल रहा है - आकर्षण "आभासी वास्तविकता", जहां ग्राहक एक छोटे से शुल्क के लिए 3 डी दुनिया में हो सकता है। इनमें से एक आकर्षण ITMO डिजाइन एंड मल्टीमीडिया सेंटर में भी एकत्र किया गया था और हमेशा दर्शकों (चित्र 3.) के साथ सफल रहा है।

अंजीर। 3. सेंट पीटर्सबर्ग के गवर्नर जी.एस. पोल्टाचेंको आकर्षण "वर्चुअल रियलिटी" (सेंट पीटर्सबर्ग, रूस, शरद ऋतु 2014) से परिचित हो जाता है

शैक्षिक और अनुसंधान उद्देश्यों के लिए आभासी वास्तविकता हेडसेट का उपयोग हमें सांस्कृतिक वस्तुओं (वास्तुशिल्प वस्तुओं या संग्रहालय प्रदर्शन) को एक नई डिग्री विस्तार और उपयोगकर्ता द्वारा देखने की संभावनाओं के साथ प्रस्तुत करने की अनुमति देता है।

संस्कृति और कला के लिए 360 ° वीडियो प्रौद्योगिकी का उपयोग करना

वर्चुअल रियलिटी हेडसेट्स के आगमन के साथ, फोटो और वीडियो पैनोरमा की दिशा विशेष रूप से प्रासंगिक हो गई है, साथ ही विभिन्न क्षेत्रों में 360 ° वीडियो तकनीक का उपयोग भी किया गया है - म्यूज़ियम और इंटरैक्टिव वीडियो टूर से लेकर शूटिंग संगीत और नाटकीय प्रदर्शन तक। विशेष रूप से, इस प्रारूप में दर्ज एक संगीत कार्यक्रम एक अमिट छाप बनाता है - दर्शक, एक आभासी वास्तविकता हेलमेट पहने हुए, अपने पसंदीदा संगीतकारों या अभिनेताओं के बीच मंच पर खुद को सही पाता है।

ITMO डिज़ाइन और मल्टीमीडिया सेंटर, Video360Product प्रोजेक्ट के भाग के रूप में, रूस में आभासी वास्तविकता हेलमेट के लिए वीडियो 360 तकनीक के विकास के साथ प्रयोग शुरू करने वाले पहले में से एक था । सेंट पीटर्सबर्ग राज्य दूरसंचार विश्वविद्यालय के 3 डी प्रौद्योगिकी केंद्र के साथ संयुक्त रूप से किए गए पहले प्रयोगों में से एक नाटक "च्वाइस" (थिएटर) की शूटिंग है"AX" , सेंट पीटर्सबर्ग, रूस, गर्मियों 2014), ओकुलस रिफ्ट DK1 (चित्र 4. 4.) में प्लेबैक के लिए अनुकूलित।

अंजीर। 4. प्रदर्शन "चॉइस", स्टीरियो पेयर मोड (AX थियेटर, सेंट पीटर्सबर्ग, रूस, समर 2014) में।

इस प्रायोगिक सर्वेक्षण की एक विशेषता यह थी कि इसे एक नियमित 3D कैमरे का उपयोग करके शूट किया गया था - जब इसे हेलमेट के माध्यम से देखा जाता था आभासी वास्तविकता में, उपयोगकर्ता ने एक स्टीरियो प्रभाव देखा (प्रत्येक आंख के लिए एक अलग तस्वीर बनाई गई थी), लेकिन सिर की स्थिति से कोई स्थिति नहीं थी।

वीडियो 360 तकनीक के विकास में एक बड़ी सफलता पॉल मैककार्टनी द्वारा अगस्त 2014 में अमेरिकी कंपनी Jaunt द्वारा आयोजित एक संगीत कार्यक्रम की शूटिंग थी ।

अंजीर। 5. पॉल मेकार्टनी का कॉन्सर्ट, 360 ° 3 डी वीडियो प्रारूप ("लाइव एंड लेट डाई" में, कैंडलस्टिक पार्क, सैन फ्रांसिस्को, यूएसए, 14 अगस्त 2014 में लाइव)

सांस्कृतिक कार्यक्रमों की शूटिंग पर निरंतर प्रयोग, देखने की संभावना के साथ सांस्कृतिक कार्यक्रमों की शूटिंग एक आभासी वास्तविकता हेलमेट, आईटीएमओ डिजाइन और मल्टीमीडिया सेंटर के कर्मचारियों ने विभिन्न परिदृश्यों के लिए 360 ° वीडियो रिकॉर्डिंग के लिए विशेष उपकरण विकसित किए हैं - स्थैतिक दृश्य (कैमरा एक बिंदु पर स्थिर है), गतिशील दृश्य (कैमरा एक चयनित पथ के साथ चलता है, रिमोट से नियंत्रित होता है), विभिन्न बढ़ते तरीके (नाव, क्वाडकॉप्टर, हेलमेट आदि)।

360 ° वीडियो कैप्चर डिवाइस

360 ° वीडियो प्रारूप में सामग्री बनाना आज तक कोई तुच्छ कार्य नहीं है, इस तथ्य के बावजूद कि सामग्री के बाद के प्रसंस्करण के लिए विशेष उपकरण (360 ° वीडियो कैमरा) और सॉफ्टवेयर विकसित किए गए हैं।

प्रौद्योगिकी के क्रमिक प्रसार को कई कठिनाइयों द्वारा समझाया जा सकता है: बड़ी मात्रा में प्रसंस्कृत सामग्री, आंशिक रूप से मैनुअल प्रसंस्करण, उपकरणों की उच्च लागत और, सबसे महत्वपूर्ण बात, एक सुविधाजनक देखने के उपकरण की कमी। दरअसल, वर्चुअल रियलिटी हेडसेट्स के आगमन से पहले, 360 ° वीडियो देखने का एकमात्र तरीका एक विशेष खिलाड़ी था जिसमें उपयोगकर्ता माउस के साथ उसके चारों ओर वीडियो को चालू करने की क्षमता रखता है।

आभासी वास्तविकता हेडसेट के आगमन के साथ, स्थिति बदल गई है - उपयोगकर्ता वीडियो के "अंदर" है और आभासी अंतरिक्ष में विसर्जन की लगभग पूरी डिग्री महसूस करता है। विभिन्न रचनात्मक समूह और स्टार्ट-अप बड़ी संख्या में दिखाई दिए, 360 ° वीडियो की शूटिंग के लिए अपने स्वयं के तकनीकी समाधानों को लागू करते हुए, ध्यान देने योग्य विविधता और विशेषताओं में अंतर (चित्र 6-7)।

अंजीर। 6. 360 ° फ़ोटो और वीडियो कैप्चर करने के लिए विभिन्न कैमरा लेआउट

विशेष रूप से असामान्य देखो समाधान जो आपको 3 डी प्रारूप में 360 ° वीडियो शूट करने की अनुमति देते हैं (प्रत्येक आंख के लिए, इसका अपना वीडियो क्षेत्र बनाया जाता है, फिर उन्हें प्लेबैक के लिए एक विशेष खिलाड़ी में जोड़ा जाता है)। 3 डी वीडियो 360 ° दर्शक को सामान्य "मोनो" संस्करण की तुलना में अधिक मजबूत स्थान देता है, लेकिन प्रसंस्करण सामग्री के लिए और विभिन्न तकनीकी समस्याओं को हल करने के लिए दोनों में काफी अधिक संसाधनों की आवश्यकता होती है। विशेष रूप से, ऊपरी कक्षों और उनके स्थान की समस्या अलग है (इस तरह से कि सिर के किसी भी मोड़ के साथ दर्शक सही तस्वीर देखेंगे) (चित्र 7)।

अंजीर। 7.
3 डी वीडियो 360 (उदाहरण के लिए, 360 हेरोस कैमरा ) के लिए स्टीरियो लेआउट सहित फोटो और वीडियो 360 की शूटिंग के लिए विभिन्न कैमरा लेआउट।

द्विज ध्वनि

आभासी वास्तविकता के लिए सामग्री बनाते समय एक विशेष कार्य, चाहे वह 3 डी मॉडलिंग या "360 ° वीडियो" हो, ध्वनि की रिकॉर्डिंग और प्लेबैक है - क्योंकि उपयोगकर्ता, आभासी वास्तविकता में होने के कारण, सिर की स्थिति के आधार पर विभिन्न ध्वनियों को सुनना चाहिए!

कंप्यूटर गेम इंजन में, यह समस्या विशेष सॉफ़्टवेयर का उपयोग करके हल की जाती है जो वर्चुअल स्पेस में ध्वनि स्रोतों का स्थान निर्धारित करती है। हालांकि, "वीडियो 360 °" प्रारूप के आगमन और इस प्रारूप में संगीत संगीत रिकॉर्ड करने की संभावना के साथ, ध्वनि को बहुत सटीक रूप से रिकॉर्ड करना आवश्यक हो गया - जैसे कि एक निश्चित बिंदु पर खड़ा व्यक्ति इसे सुनता है।

इस उद्देश्य के लिए, शोधकर्ता तथाकथित का उपयोग करते हैं द्विज ध्वनि- यह मानव माइक्रोफोन को दोहराते हुए, विशेष माइक्रोफोन पर रिकॉर्ड किया गया है।

अंजीर। 8. 3 डी बाइनॉरल साउंड रिकॉर्डर्स

एक सबसे प्रसिद्ध काम है जिसे बाइनॉरल साउंड टेक्नोलॉजी का उपयोग करके फिल्माया गया है, एक बेक बैंड कॉन्सर्ट है:

अंजीर। 9. बेक, "हैलो फिर से" ("साउंड एंड विजन", 2013)

। अंजीर। 10. बेक, "हैलो फिर से" ("साउंड एंड विजन", 2013)

360 ° वीडियो होस्टिंग

प्रौद्योगिकी के तेजी से प्रसार के संबंध में, तत्काल मुद्दा "वीडियो 360 °" प्रारूप में फ़ाइलों के लिए होस्टिंग का संगठन है। ऐसी होस्टिंग का एक महत्वपूर्ण घटक माउस को घुमाने की क्षमता के साथ न केवल वीडियो चलाने की क्षमता है, बल्कि स्थिर (ओकुलस रिफ्ट) और मोबाइल दोनों में आभासी वास्तविकता हेडसेट के लिए अनुकूलन भी है।

फिलहाल, केवल कुछ सेवाएं "वीडियो 360 °" के लिए पूर्ण समर्थन प्रदान करती हैं - फ्रेंच कोलोर (इस लेख को लिखने के समय अमेरिकी कंपनी GoPro द्वारा खरीदा गया था ), Youtube ने 2015 में आंशिक रूप से वीडियो 360 का समर्थन किया (माउस रोटेशन की संभावना है, लेकिन हेडसेट के लिए कोई अनुकूलन नहीं है। आभासी वास्तविकता)।

बोरिसोव निकोले वेलेन्टिनोविच
डिजाइन और मल्टीमीडिया सेंटर, आईटीएमओ विश्वविद्यालय
कला और मानविकी में सूचना प्रणाली विभाग, सेंट पीटर्सबर्ग स्टेट यूनिवर्सिटी,

आर्टेम ए। स्मोलिन
डिपार्टमेंट ऑफ़ इंजीनियरिंग एंड कंप्यूटर ग्राफिक्स, सेंटर फ़ॉर डिज़ाइन एंड मल्टीमीडिया, आईटीएमओ यूनिवर्सिटी
ऑफ़ इन्फ़ॉर्मेशन सिस्टम इन आर्ट्स एंड ह्युमैनिटीज़, सेंट पीटर्सबर्ग स्टेट यूनिवर्सिटी

स्टोलारोव डेनिस आंद्रेयेविच
सेंटर फ़ॉर डिज़ाइन एंड मल्टीमीडिया, आईटीएमओ यूनिवर्सिटी
ऑफ़ मैथमैटिकल लिंग्विस्टिक्स, SPbSU

हमारे संपर्क:
प्रोजेक्ट Video360Product.com
denis1900@mail.ru स्टोलिरोव डेनिस

आभासी वास्तविकता: 360 वीडियो और द्विअक्षीय ध्वनि

परिचय

संस्कृति और कला के लिए 360 ° वीडियो प्रौद्योगिकी का उपयोग करना

360 ° वीडियो कैप्चर डिवाइस

द्विज ध्वनि

360 ° वीडियो होस्टिंग

More articles: