Clever Geek Handbook

الواقع الافتراضي: 360 فيديو وصوت الأذنين

كتبنا تقريرًا مثيرًا للاهتمام حول تقنيات الواقع الافتراضي لمؤتمر EVA Florence 2015 (فلورنسا ، إيطاليا). لم يتم نشر المقالة في أي مكان ، وبما أن الموضوع مثير للاهتمام ولم يتم تغطيته كثيرًا في Geektimes ، فقد قررنا نشره هنا. نعطي نسخة روسية معدلة من المقالة ، إذا لزم الأمر ، نضيف أي إضافات أو روابط أو ملاحظات.


360 فيديو + صوت بكلتا الأذنين

المقدمة


مع تطور صناعة ألعاب الكمبيوتر وتقنيات التمثيل الظاهري للكائنات (النمذجة ثلاثية الأبعاد ، الصور البانورامية) ، تم تحسين أجهزة الانغماس الفردي والجماعي في بيئات الواقع الافتراضي. مثل هذه الأجهزة والأنظمة ، بسبب تأثير الوجود ، تسمح للشخص أن يكون داخل العالم الافتراضي: لعبة كمبيوتر ، متحف افتراضي ، جولة افتراضية ، إلخ.

في عام 2013 ، ظهر نموذج أولي لجيل جديد من خوذات الواقع الافتراضي - Oculus Rift (الشكل 1.) من Oculus http://www.oculus.com، والتي جمعت أكثر من 90 مليون دولار في أماكن التمويل الجماعي في الولايات المتحدة ، وكذلك من مختلف المستثمرين. السمة المميزة لخوذة Oculus Rift هي طريقة العدسة لبناء الصورة - لا ينظر المشاهد الذي يرتدي الخوذة مباشرة إلى صورة الاستريو ، ولكن من خلال عدسات لا كروية خاصة. باستخدام العدسات ، كان من الممكن توسيع زاوية العرض بشكل كبير ، مما يجعلها قريبة من الرؤية البيولوجية للشخص (110 درجة مقابل 45-50 درجة في النظارات العادية) ، والتي بفضلها توفر الخوذة انغماسًا عميقًا بشكل غير عادي في الواقع الافتراضي. حددت هذه الميزة مصير النقاط - أصبح المشروع أحد الأسرع نموًا في الصناعة ، وبدأ إنشاء التطبيقات التجريبية لـ Oculus Rift حول العالم ، وفي عام 2014 وقعت إحدى الصفقات القياسية في الصناعة - قام Facebook بشراء Oculus مقابل 2 مليار دولار.


تين. 1. خوذة الواقع الافتراضي Oculus Rift DK2 والمستخدم ، 2014.

تميزت نهاية عام 2014 بظهور عدد من خوذات الواقع الافتراضي المختلفة (أو ، بشكل أدق ، سماعات) مبنية على نفس المبدأ ومصممة للاستخدام مع الهاتف الذكي. تضمن السباق لإنشاء مثل هذه المنتجات شركات كبيرة - Samsung ( Samsung Gear VR ) و Google ( Google Cardboard ) و HTC ( HTC Vive ) والعديد من الشركات الناشئة لصنع الخوذات - Homido (فرنسا) و Fibrum (روسيا) و ColorCross (الصين) ) وغيرها (الشكل 2.).

كان الفرق الأساسي بين هذه الأدوات من Oculus Rift هو أن الخوذ المدرجة تستخدم هاتفًا ذكيًا مدرجًا في الخوذة كشاشة. وبالتالي ، لم تكن هناك حاجة لاستخدام جهاز كمبيوتر وتوصيل الأسلاك لتوصيل Oculus Rift ، وانخفضت تكلفة الخوذة إلى 30 دولارًا.


تين. 2. سماعات الواقع الافتراضي

في الوقت الحاضر (مايو 2015) ، يتم دعم سماعات الواقع الافتراضي من قبل عدد كبير من ألعاب الكمبيوتر (Half-Life 2 ، Team Fortress 2 ، Mirror's Edge ، War Thunder ، EVE Valkyrie (ex. EVR) من CCP ، DCS: World ، IL-2 Sturmovik "Battle for Stalingrad" ، Euro Truck Simulator 2 ، Minecraft ، Live For Speed) والعديد من محركات الألعاب (CryEngine ، Unreal Engine (الإصدارات 3 و 4) ، Unity ، Unigine ، Source ، CopperCube ، كامل قائمة. يمكنك أيضًا عرض الواقع الافتراضي بدون خوذة - من خلال تدوير الهاتف الذكي ، ولكن في نفس الوقت يتم تقليل تأثير التواجد بشكل كبير.

ظهر شكل جديد من وسائل الترفيه وينتشر بنشاط - "الواقع الافتراضي" الجذاب ، حيث يمكن للعميل أن يكون في العالم ثلاثي الأبعاد مقابل رسوم رمزية. تم أيضًا جمع أحد هذه المعالم في مركز ITMO للتصميم والوسائط المتعددة وكان دائمًا ناجحًا مع الجمهور (الشكل 3.).


تين. 3. حاكم سان بطرسبرج جي. تعرف بولتافشينكو على جاذبية الواقع الافتراضي (سانت بطرسبرغ ، روسيا ، خريف 2014)

يسمح لنا استخدام سماعات الواقع الافتراضي للأغراض التعليمية والبحثية بتقديم العناصر الثقافية (الأشياء المعمارية أو المعروضات المتحفية) بدرجة جديدة من التفاصيل وإمكانيات المشاهدة من قبل المستخدم.

استخدام تقنية فيديو 360 درجة للثقافة والفن


مع ظهور سماعات الواقع الافتراضي ، أصبح اتجاه الصور البانورامية والفيديو وثيق الصلة بشكل خاص ، بالإضافة إلى استخدام تقنية الفيديو 360 ° في مختلف المجالات - من المتاحف وجولات الفيديو التفاعلية إلى تصوير الموسيقى والعروض المسرحية. على وجه الخصوص ، الحفل المسجل في هذا الشكل يجعل انطباعًا لا يمحى - المتفرج ، الذي يرتدي خوذة الواقع الافتراضي ، يجد نفسه على المسرح بين موسيقيه أو الممثلين المفضلين لديه.

كان مركز ITMO للتصميم والوسائط المتعددة ، كجزء من مشروع Video360Production ، واحدًا من الأوائل في روسيا الذين بدأوا بتجربة تطوير تقنية Video 360 لخوذات الواقع الافتراضي. إحدى أولى التجارب التي أجريت بالاشتراك مع مركز التكنولوجيا ثلاثية الأبعاد بجامعة سان بطرسبرج الحكومية للاتصالات هي تصوير مسرحية "الاختيار" (مسرح)"AX" ، سان بطرسبرج ، روسيا ، صيف 2014) ، تم تكييفها للتشغيل في Oculus Rift DK1 (الشكل 4.).


تين. 4. أداء "الاختيار" ، في وضع زوج الاستريو (مسرح AX ، سانت بطرسبرغ ، روسيا ، صيف 2014).

ومن مميزات هذا المسح التجريبي أنه تم تصويره باستخدام كاميرا ثلاثية الأبعاد عادية - عند مشاهدته من خلال خوذة في الواقع الافتراضي ، شاهد المستخدم تأثيرًا مجسمًا (تم إنشاء صورة مختلفة لكل عين) ، ولكن لم يكن هناك تحديد لموضع الرأس.

كان نجاحًا كبيرًا في تطوير تقنية Video 360 هو تصوير حفل موسيقي من قبل Paul McCartney ، أجرته شركة Jaunt الأمريكية في أغسطس 2014.


تين. 5. حفلة بول مكارتني ، بتنسيق فيديو 360 ° ثلاثي الأبعاد ("Live and Let Die" ، مباشرة في حديقة Candlestick ، ​​سان فرانسيسكو ، الولايات المتحدة الأمريكية ، 14 أغسطس 2014).

استمرار التجارب على تصوير الأحداث الثقافية مع إمكانية المشاهدة في خوذة الواقع الافتراضي ، قام موظفو ITMO Design و Multimedia Center بتطوير معدات متخصصة لتسجيل فيديو بزاوية 360 درجة لمختلف السيناريوهات - مشاهد ثابتة (الكاميرا ثابتة عند نقطة واحدة) ، مشاهد ديناميكية (تتحرك الكاميرا على طول مسار محدد ، يتم التحكم فيه عن بُعد) ، طرق تركيب مختلفة (قارب ، كوادكوبتر ، خوذة ، إلخ).

أجهزة التقاط الفيديو بزاوية 360 درجة


لا يعد إنشاء المحتوى بتنسيق فيديو 360 درجة مهمة بسيطة حتى الآن ، على الرغم من حقيقة أنه تم تطوير معدات متخصصة (كاميرات فيديو 360 درجة) وبرامج للمعالجة اللاحقة للمواد.

يمكن تفسير الانتشار التدريجي للتكنولوجيا من خلال عدد من الصعوبات: كمية كبيرة من المواد المعالجة ، والمعالجة اليدوية جزئياً ، والتكلفة العالية للمعدات ، والأهم من ذلك ، عدم وجود أداة عرض ملائمة. في الواقع ، قبل ظهور سماعات الواقع الافتراضي ، كانت الطريقة الوحيدة لعرض الفيديو بزاوية 360 درجة هي مشغل متخصص يمتلك فيه المستخدم القدرة على تحويل الفيديو من حوله بالماوس.

مع ظهور سماعات الواقع الافتراضي ، تغير الوضع - المستخدم "داخل" الفيديو ويشعر بدرجة كاملة تقريبًا من الانغماس في الفضاء الافتراضي. ظهرت مجموعات إبداعية وشركات ناشئة مختلفة بأعداد كبيرة ، وتنفيذ حلولها التكنولوجية الخاصة لتصوير الفيديو بزاوية 360 درجة ، والتي تتميز بتنوع وخصائص ملحوظة (الشكل 6-7).


تين. 6. تخطيطات الكاميرا المختلفة لالتقاط الصور ومقاطع الفيديو بزاوية 360 درجة

خاصة حلول المظهر غير العادية التي تسمح لك بتصوير فيديو 360 درجة بتنسيق ثلاثي الأبعاد (لكل عين ، يتم إنشاء مجال الفيديو الخاص بها ، ثم يتم دمجها في مشغل متخصص للتشغيل). يمنح الفيديو ثلاثي الأبعاد 360 درجة للمشاهد إحساسًا بالمساحة بشكل أقوى مما هو عليه في الإصدار "الأحادي" المعتاد ، ولكنه يتطلب المزيد من الموارد - لمعالجة المواد ولحل المشكلات الفنية المختلفة. على وجه الخصوص ، تكون مشكلة الغرف العلوية وموضعها منفصلة (بطريقة تجعل أي رؤية للرأس لأعلى المشاهد ترى الصورة الصحيحة) (الشكل 7).


تين. 7. تخطيطات مختلفة للكاميرا لتصوير الصور والفيديو 360 ،
بما في ذلك تخطيط ستيريو للفيديو ثلاثي الأبعاد 360 (على سبيل المثال ، كاميرات 360 Heros )

صوت الأذنين


تتمثل مهمة خاصة عند إنشاء محتوى للواقع الافتراضي ، سواء كان عرضًا ثلاثي الأبعاد أو "360 ° فيديو" ، في تسجيل الصوت المحيطي وتشغيله - لأن المستخدم ، في الواقع الافتراضي ، يجب أن يسمع أصواتًا مختلفة اعتمادًا على موضع الرأس!

في محركات ألعاب الكمبيوتر ، يتم حل هذه المشكلة باستخدام برامج خاصة تحدد موقع مصادر الصوت في الفضاء الافتراضي. ومع ذلك ، مع ظهور تنسيق "Video 360 °" وإمكانية تسجيل الحفلات الموسيقية بهذا التنسيق ، أصبح من الضروري تسجيل الصوت بدقة شديدة - تمامًا كما يسمع شخص يقف عند نقطة معينة.

لهذا الغرض ، يستخدم الباحثون ما يسمى ب صوت الأذنين- يتم تسجيله على ميكروفونات خاصة على شكل تكرار للأذن البشرية.


تين. 8. 3Dio مسجلات الصوت بكلتا الأذنين

أحد أشهر الأعمال التي تم تصويرها باستخدام تقنية الصوت بكلتا الأذنين هو حفل Beck band:


Fig. 9. بيك ، "مرحبًا مرة أخرى" ("الصوت والرؤية" ، 2013)


. 10. بيك ، "مرحبًا مرة أخرى" ("الصوت والرؤية" ، 2013)

استضافة فيديو 360 درجة


فيما يتعلق بالانتشار السريع للتكنولوجيا ، فإن القضية الملحة هي تنظيم استضافة الملفات بتنسيق "Video 360 °". أحد المكونات المهمة لمثل هذه الاستضافة هو القدرة على تشغيل مقاطع الفيديو مع القدرة على تدوير الماوس ، ولكن أيضًا التكيف مع سماعات الواقع الافتراضي ، سواء الثابتة (Oculus Rift) والجوال.

في الوقت الحالي ، لا يقدم سوى عدد قليل من الخدمات الدعم الكامل لـ "Video 360 °" - French Kolor (في وقت كتابة هذا المقال تم شراؤها من قبل الشركة الأمريكية GoPro ) ، يدعم Youtube أيضًا Video 360 جزئيًا في عام 2015 (هناك إمكانية دوران الماوس ، ولكن لا يوجد تعديل لسماعات الرأس الواقع الافتراضي).

مركز بوريسوف نيكولاي فالنتينوفيتش
للتصميم والوسائط المتعددة ، جامعة ITMO
قسم نظم المعلومات في الآداب والعلوم الإنسانية ، جامعة سانت بطرسبرغ الحكومية ،

Artem A. Smolin
قسم الهندسة ورسومات الكمبيوتر ، مركز التصميم والوسائط المتعددة ، جامعة ITMO
قسم نظم المعلومات في الآداب والعلوم الإنسانية ، جامعة سانت بطرسبرغ الحكومية مركز

Stolyarov Denis Andreyevich
للتصميم والوسائط المتعددة ، جامعة ITMO
قسم اللغويات الرياضية ، جامعة ITMO SPbSU

جهات الاتصال الخاصة بنا:
مشروع Video360Production.com
denis1900@mail.ru Stolyarov دينيس

More articles:


All Articles