S3D：没有痛苦就可以收获

今天，我们将讨论一个由于某种原因而很少被提及的问题，但是在电影中经常会发现这一问题-在混乱的摄影机角度下，它的出现频率通常是混乱的摄影机角度的10倍左右。从计算机视觉的角度来看，搜索此问题是一项非常重要的任务。但是，最后，我们创建了一种算法，该算法允许我们以0.1帧的精度检测移位。结果，在所分析的105部电影中，有27部电影中发现了500多个有问题的场景。最大偏移为1-2帧，最小偏移为0.1帧。有趣的是，时间偏移是混淆角度后最痛苦的工件之一。发生这种情况的原因，外观，是否非常引人注意以及是否有可能对其进行修复，将进一步说明。

时移在哪里来自立体声

有一次，当立体学家向您谦虚的仆人抱怨时移，并提出开始开发自动检测问题的方法时，我真的不想这样做。似乎-一两年后，儿童的同步问题将得到解决，“失步”可能会被当作噩梦而被遗忘。而且，从算法上来说，其检测是一项非常重要的任务。然而，几年过去了，但问题仍然存在。

而且，在纪录片制片人中经常发现角度不同步，这通常是在廉价的立体电影上拍摄的。用于同步立体声拍摄技术参数的接口只有相当昂贵的相机。但是当在CG-Event节目上被告知，用从一家大型好莱坞工作室租来的昂贵的专业立体声设备拍摄“斯大林格勒”时，帧元数据中的时间数据相差4帧，并且通过“ clapperboard”手动进行对齐...在西方，这是很常见的情况专业人士经常提及的内容。总的来说，显然必须解决该问题。如果工作室仍然手动调整，则这意味着人们的错误是不可避免的，这意味着相机角度之间的时移将落入电影院屏幕上的电影中。

现在肯定有人会惊叹：“为什么他们不能同时启动相机？在那儿焊几根线！”不要以为一切都那么简单。焊接导线确实很容易，但是事实证明，在收到信号后，相机不会立即开始拍摄。此外，此延迟可能会随时间变化。在95％到99％的情况下，所有事情都同时发生，但是有时其中一台摄像机“思考”的时间更长一点（为“智能”的摄像机付出了代价），并且摄像机的角度随时间变化。

纪录片制片人谈论了相当诱人的情况，他们同时购买两台具有相同电池的相机，在山区和森林中拍摄，并且在观看镜头的过程中，他们已经在家中发现相机有时（显然是其中一个电池坐得更紧时）开始出现频率差异。帧（！）。也就是说，在拍摄过程中，一台摄像机比第二台向前行驶。在这种情况下，烟雾由三个字母的英文缩写（“ WTF？！？！”）高高悬在空中，其缩写大致失去意义：“它们是如何做到的？”

所以！我们手中有~~一家好莱坞工作室租用~~的~~昂贵的专业钻机~~两个独立的摄像头的立体声。此外，由于神秘的原因（历史上没有提及）（相机没有同步界面，在拍摄时，他们忘记了同步相机时钟等），相机的角度会发生变化。该怎么办？总有解决方案！

以前，为了同步声音和视频，并同时签署双重协议，我们使用了一个简单的clapperboard；

今天，在场景中，我们开始使用带有电子计时器的clappers：

最初，clapperboard允许您同步声音和视频，还可以指示时间和其他信息以识别拍摄时间。现代饼干也可让您同步立体视图。实际上，在左边有纪念表:)，但是上面已经清楚地标明了时间。

但是，我想，细心的读者已经在准备一个问题：“如果差异不是一个整体，而是一个半框，那该怎么办？可能吗？”。答案不会让您满意-这不仅可能，而且相当普遍。

clapperboard上立体声对的时移示例（为方便起见，clapperboard移到了屏幕级别）。请注意，电影为48 FPS，即每秒48帧，因此在校正期间最坏情况下的时间偏移将是一半。但是，手臂上的垂直差异清晰可见

问题的答案：是半幅还是半幅？可以清楚地看到，用于24帧的“旧”饼干没有时间来改变两个角度为48 fps的帧的帧数（其中，数字每两个帧改变一次）……好吧，对于48 fps，是时候发布新的饼干了！

实际上，一帧或两帧之间的差异是好的，因为它很容易纠正。对于外行人来说，这听起来可能很奇怪，但是十分之一帧之间的差异也相对固定。而且只有半帧的差异最难纠正。但是，关于更正-稍后。我们只记得，如果及时发现问题，那是可能的。

问题自然而然地出现了：时间上的差异有多大？直观上很清楚，当时间在任何垂直运动上发散时，我们将看到“不可能的”画面。但是，这有多难受？就像一些从业者喜欢说的那样，大脑可能“轻松地补偿了”吗？正是在这几周内，当撰写本系列文章时，我们正在准备一个非常有趣的实验-比较我们所测量的各个立体假象的不适程度：

. , , . — , -, , . , . “”, .

理解时移重要性的重要一点：在实验的第一次运行之后，我们不得不重做测试序列，因为从真实影片中以最差的例子的水平选择的时移对观众来说比其他文物更不舒服（！）。另外，应该再次注意到密西根州立大学学生去观看的勇气。这是第二天从上一张照片中获得的人对实验的描述：“预期在实验过程中会感觉到：眼睛干涩，频繁眨眼，头部额部短期头痛，严重疲劳（整天都保持这种状态）。但是我知道我在做什么:) ”

这些实验将是一个整洁和清晰的答案，谁训练对自己的不良立体他们的双眼视觉，然后从我第二喜欢的行事原则的人评论：“如果你自己想拍摄和编辑立体电影或至少立体图片，你会很容易发现该小瑕疵等中的2-3度，中心位移或图像中的一个的模糊的区域不同的旋转角度是容易由我们的大脑补偿”通过实验我们可以看到，如果一个人不习惯观看不良的立体声，那么长达一个小时的电影中的瑕疵会导致头部额叶的短暂头痛，如果其中很多的话，则会导致一整天的严重疲劳。实际上，这正是在对3D失望的人的评论中经常可以看到的。区别在于我们清楚记录了所有评论，此外，我们每次眨眼（由IT跟踪器和EEG记录）都监控了整个节目，在EEG的帮助下测量了疲劳并定期采访了受试者。

所以！根据我们在观看影片之前对大量人进行的调查，时间推移导致所有类型的文物不舒服。同时，它几乎没有被“肉眼所识别”（有不适感，但不清楚为什么会出现），并且在有关立体声不适的文章中几乎从未提及。

总的来说，我们正在努力确保我们的受访者不会白费，并且减少了3D电影带来的不适感。这些作品以英语出版，至少西方的立体学家对此非常感兴趣，并对我们的新成果做出了积极的回应。

说到时间偏移，值得一提的是关于活跃点。在第一部分日本人对500名志愿者使用活动眼镜时测量疲劳度的出色研究（T. Morita和H.Ando，“观看条件对观看3DTV引起的疲劳的影响”，SMPTE Proc 2012年年度技术会议和展览，2012年10月1日），2012年第10期，第1 1-9页，doi：10.5594 / M001472。）。他们的判决听起来像是一句话：使用主动式眼镜造成的疲劳感极高，超过了立体声制品带来的疲劳感。普通主动式眼镜（60 Hz）的问题之一是，按照定义，您会得到半帧的时间偏移，这几乎是肉眼看不见的，但是却不舒服。同时，全分辨率称为主动式眼镜的一大优势，因为被动式眼镜通常在一个视图中显示一半的线条，而在另一视图中显示一半的线条。这对于许多3D电视来说都是如此。

但是，首先，这不适用于电影，其次，不适用于新的4K电视。也就是说，通过它们现在非常活跃的分布，将解决该问题。由于新眼镜实际上已经解决了被动式眼镜的问题，因此主动式眼镜的制造商也在努力减少其技术问题。特别地，屏幕频率增加到200 Hz，结果，对于25 FPS的电影，在眼镜的4次交替打开期间显示一帧。该技术使您几乎可以完全消除时移，但是如果不使用该技术来提高帧速率，则将出现明显的不均匀运动。平移时，当整幅图像上的图像平滑移动到侧面时，这一点尤其明显。运动过程中的跳动也会引起不适感，尽管时间间隔不大。

尽管如此，有源眼镜仍会长期投放广告，例如，2014年12月在莫斯科饭店开业的有关“精英”新电影院的文章中。目前尚不清楚他们是出于什么原因从Xpand中选择了主动系统，但他们像这样宣传：“下一个技巧”是主动3D眼镜。同样，在现代电影院中，大多数情况下使用无源3D系统，但是它们的质量会下降。而且在世界各地的工作室中，他们仅使用活动眼镜，因为这是观看3D的最佳技术。是的，由于观众流失率很大，这很不方便，但是这里对观众的态度是个人的。”“大多数情况下使用被动3D系统，但质量会下降”的说法是没有根据的。邀请您仅相信质量损失。例如，在IMAX中，基于被动眼镜设计具有最高质量（和机票价格）的昂贵休息室，根本无法理解这一生。 “在世界各地的录音棚中只能使用活动眼镜”这样的说法是完全错误的。

作者与世界各地的众多专业人士进行了交谈，并了解了他们在2010年的情况，当时主动式系统主要销售（这是因为从技术上讲，他们最容易设置快速发布），相反，他们搜索并安装了被动式系统。因此，您可以安全地观看3D数小时。 2011年，当作者在工作室里戴着活动眼镜观看立体声时，他们道歉了很长时间，并警告说，由于他们戴着活动眼镜，因此，他们建议在观看后40分钟内不要驾驶方向盘。在这样的时刻，您会感到遗憾的是，我们没有美国，而且对破车的索赔并没有激发大厅的主人去研究所安装设备的技术细节，这使听众感到头疼。

发现：
- .
, , . .
, , .
“” . , . .
使用最活跃的眼镜（60 Hz或更低）时，会出现非常不愉快的时移半帧。在下面可以更详细地评估是多半还是半帧。

垂直移动的时间偏移

如果场景中有垂直运动，那么随着时间的推移，我们会得到“不可能”的图像，这对我们的大脑非常不舒服：

在此场景中，观看者将清楚地看到“不可能”的图像。有趣的是，尽管是1954年的电影，但这个问题很容易解决，因为0.042s只是1/24秒的偏移，即一帧

垂直移动迅速，移动0.2帧时引人注目的示例，特别是对于那些认为半帧不易察觉的人而言）

“ ”, , , , ,

, -

, — 0,1 ,

随着水平移动，时移将主要表现为深度对象的奇怪“浸入”或“凸起”。而且，它会从我们身上转移到我们身上，这取决于时移的方向。不幸的是，即使使用动画也很难很好地演示这种效果。不过，我们举一个例子：

偏移0.2帧，其中前景中的海豚在视觉上向观看者移动。可以通过相对于水保持相对静止的气泡来估计该偏移。如果场景中有旋转的物体或静止的物体，则由于时移而使位于立体物体后方的物体看起来更近时，可能会出现令人不愉快的情况，这是人的双目视觉的另一种“不可能”的情形。

旋转移位

旋转是一种不太容易准确校正的运动。以下是对象旋转时移的示例：

一个相当有趣的示例，由于汽车的快速移动，导致0.1帧的很小偏移变得明显

英雄在前景中旋转时出现明显的半帧偏移

)

, , , , . -

, 0,2 -

, -

( ) , , , ()

— . , , , 3D,

另一个相当痛苦的例子，动画允许移动2帧。显然，计算机图形在时间上是完美对齐的，但是由于安装错误，事实证明这是一个相当痛苦的感知

场景，其中只显示了一小部分。基本上，那些是最容易在动画中看到并且最直观的。在慢动作场景中，时移不太明显，但是有时会出现立体声看起来有些奇怪的情况，但是即使进行逐帧分析，也无法立即看出场景中是否存在偏移。当敏感的人感到不适，但无法理解其原因时，这种场景可能会“看起来很奇怪”。

发现：
27 8 : “Dark Country”, “The Hole 3D”, “Silent Hill 2”, “Shark Night”, “Bait”, “Piranha 3DD”, “Child’s Eye”, “Piranha” . , , , . , , .
“” . , “” .

总共检查105部电影时，发现27部电影的515个场景包含时移（Temporal Shift或TS）。下表提供了有关它们的完整统计信息：

电影标题	发布日期	预算$ M	持续时间	TS场景	最大移位	平均班次	总TS时长	电影的百分比	总成绩
黑礁湖的生物	1954年3月5日	$ 0.00	4745	218	0.042	0.008	2,056.77	43.35％	04.17
孩子的眼睛	2010年10月14日	$ 4.50	5822	78	0.061	0.009	510.55	8.77％	3.52
3-D性爱与禅宗：极度狂喜	2011年4月14日	$ 2.58	6775	37	0.022	0.010	240.24	3.55％	2.40
海豚和鲸鱼3D：海洋部落	2009/10/10	$ 6.00	2546	9	0.023	0.012	153.45	6.03％	1.93
黑暗国家	2009/09/10	$ 4.00	5287	12	0.086	0.037	56.89	1.08％	1.62
拨打M谋杀案	1954年5月29日	$ 1.40	6315	40	0.042	0.004	444.40	7.04％	1.30
间谍儿童3-D：游戏结束	2003年7月25日	$ 39.00	5063	4	0.083	0.034	19.23	0.38％	0.61
鲨鱼之夜3D	2011年9月2日	$ 25.00	5419	12	0.010	0.006	96.39	1.78％	0.50
我的血腥情人节	2009年1月16日	$15.00	6061	16	0.008	0.005	85.79	1.42%	0.47
Drive Angry	2/25/2011	$50.00	6271	30	0.011	0.004	99.60	1.59%	0.36
Dredd	9/21/2012	$50.00	5751	1	0.042	0.042	8.55	0.15%	0.36
Silent Hill: Revelation 3D	10/26/2012	$20.00	5670	4	0.014	0.006	32.74	0.58%	0.35
The Hole	6/11/2010	$12.00	5558	7	0.007	0.004	54.47	0.98%	0.21
Bait	9/20/2012	$28.00	5587	18	0.010	0.004	53.47	0.96%	0.20
The Ultimate Wave Tahiti	7/5/2010	$3.00	2753	1	0.042	0.042	4.50	0.16%	0.19
Resident Evil: Afterlife	9/2/2010	$60.00	5812	5	0.019	0.007	12.89	0.22％	0.17
皮娜	2011/02/13	$ 4.20	6236	1个	0.038	0.038	4.25	0.07％	0.16
旅程2：神秘岛	2012年10月10日	$ 79.00	5650	2	0.042	0.023	12.05	0.21％	0.13
食人鱼3D	2010年8月20日	$ 24.00	5301	1个	0.042	0.042	2.29	0.04％	0.10
食人鱼3DD	2012年11月5日	$ 5.00	4961	6	0.013	0.009	9.63	0.19％	0.09
大力神的传说	2014/10/10	$ 70.00	5918	2	0.018	0.015	5.67	0.10％	0.08
加强3D	2010/04/08	$ 30.00	6431	2	0.039	0.029	2.59	0.04％	0.07
加快革命	2012年6月26日	$ 33.00	5919	2	0.023	0.014	5.09	0.09％	0.05
龙门飞剑	2011年12月15日	$ 35.00	7339	2	0.005	0.004	11.18	0.15％	0.05
加勒比海盗：惊涛怪浪	2011年5月20日	$ 250.00	8183	2	0.003	0.003	16.43	0.20％	0.05
雨果	2011年11月23日	$ 170.00	7581	2	0.005	0.004	8.17	0.11％	0.03
Very Harold和Kumar 3D圣诞	2011/04/11	$ 19.00	5379	1个	0.005	0.005	1.58	0.03％	0.01

该表按摘要值排序，该摘要值与时间偏移的大小和包含该偏移的场景的持续时间成比例。

可以从表中得出什么结论：

1954年的电影《黑礁湖的生物》以218个时移场景为主导。总体而言，具有明显时移的场景占该影片持续时间的43％，在这段时间内相对可原谅。
“The Child's Eye” 78 , , , . , . , .
“3-D Sex and Zen” , , .
在高预算电影中，只有“加勒比海盗……”和“雨果”出现在名单上，但它们以非常短的场景排在名单的最后。
在27部电影中，有10部具有最大不超过一帧的偏移，这意味着它们包含可以在任何编辑器中轻松校正的场景，唯一的问题是要注意这种偏移，即是否存在适当的工具控制。

有趣的是看到具有不同时移（以帧为单位）的场景数量分布的统计信息：

可以清楚地看到，相当多的场景的位移很小，仅为0.2帧，但是在1帧的区域和2帧的区域有一个峰值。如果您减去电影“黑礁湖中的生物”的218个场景（几乎占场景的一半），我们将得到以下图片：

如您所见，其余26部电影的移位性质没有根本变化，也就是说，在1954年以后，移位性质没有重大变化，我

还记得校正方面最“不愉快的”移位是半帧移位。直方图显示此类移位相对较少。因此，利用验证手段，相对容易地改善相当多场景的情况。

时移趋势

传统上，我们将了解多年来的情况如何变化：

可以清楚地看到，如果在上个世纪50年代，当所有东西都用机械照相机拍摄时，及时获取绝对是一个问题，而且所分析的两部电影都不是很好。的确，如果一部影片（“黑礁湖上的生物”）创造了绝对的反记录，那么第二部影片（“谋杀案的拨号盘”）看起来非常好，甚至比2010-2011年的某些电影还要好。没错，众所周知，在使用Blu-ray录制之前，“ Dial M for Murder”是固定的。似乎他们手动找到并纠正了每帧甚至更多的几乎所有移位。如果是这样，那就好！

预算情况也非常令人期待：

问题的主要部分是预算在每分钟不到500美元的电影中。在使用昂贵的高质量相机的高预算电影中，同步几乎没有问题。

通常，以前总是相对于“头像”显示所有内容。上图显示，在这种情况下，“阿凡达”是指高预算电影，对于该参数，该电影具有完美或几乎完美的一切。

时移校正

传统上，我们提供解决此问题的示例。您可以撰写有关修复不同步问题的其他系列文章。校正基于时间上的移码算法，因此会出现很多问题，尤其是对于半透明区域。但是，让我们从简单的案例开始：

电影“ Spy Kids 3D”的渲染极其令人不适的场景-移动了2帧

. , - . ( ) ( ). ( . )

, ,

— ,

, , - ,

, ( ) . . , . , , . - (. ) ( :) .

, “ ” — , . .. . ( ), ( , ). , . “ ” “ ”.

, , . , - — — , — . , . .

显然，总会有人，包括专业制作电影的人，会比较最新的例子并作出强制性的判决-差别太小而不能浪费宝贵的时间。此外，很显然，大多数制片人（不幸的是，包括俄罗斯人在内）对立体声问题都有非常笼统的想法，有时，不仅不需要解决此类问题，而且在后期制作工作室花钱购买时也表达了特定的不满。这样的校正是时间（ala，我已经被告知不止一次）。而且很明显，如果工作室从未进行过此类校正，那么它将进行很长时间并且效果不佳。如果工作室已经完成并在膝盖上创建了一些流程，那么它们将使所有处理速度提高许多倍。最后，如果工作室购买了软件，并且其中有人是专家，他们将非常快速，高质量地完成所有工作。

根据与工作室沟通的经验，对于以前没有这样做的人和安排过这些问题的人来说，纠正问题的时间可能相差两个数量级（！）。结果，对于例如价格高出200倍的人来说，校正实际上是宝贵的。也就是说，当他们高度重视自己的时间时，他们会说实话。这就是在电影院的屏幕上故意出现痛苦的场景，然后这些场景出现“眼睛干涩，频繁眨眼，头部额头短暂头痛，严重疲劳”（请参见上面的实验说明）。幸运的是，准备好的工作室的数量正在增加，软件和技术更正流程的质量也在提高，对原始资料和最终资料的控制也在改善。这就是为什么立体声质量会提高的原因。虽然，大概不是全部。

对于那些已经读过这个地方的人来说，这是一个奖励。对于那些相信用价格标签写的人来说，以下是两个难题。

细心的读者可能会详细研究不同设备的技术特性。包括锯价标签，例如：（照片不是新的）：

如您所见，在左边用黑白写成：“刷新率：Hz（Hertz）越高，每秒显示的帧数越多”，而骄傲的“ 3000 Hz”则在右边标榜。

问题出现了：及时移动流是什么问题，即使电视已经能够每秒显示3000帧。我们采用这样的电视，将其从30帧转换为3000，选择必要的帧并瞧瞧-我们获得了1/100帧精度的偏移！现在，要注意的第一个谜团是：这台电视每秒真正显示3000次？价格标签表明帧数也暗示着帧数越多，电视越好。是这样吗？

再说一次-即使是当今最先进的电视也不能提供100 Hz，也就是说，它们的移动幅度为上述最复杂的幅度-半帧。他们真的在推动吗？在评论中写下答案！

作为提示和第二个谜语：该电视下面几行写着这台电视也知道如何自动将2D转换为3D。就是说，詹姆斯·卡梅伦（James Cameron）花了1800万美元将《泰坦尼克号》转换为3D，你能猜出它能买到这样的电视并通过它来播放电影吗？还是不能？模特出来太晚了吗？您在评论中的版本将帮助我们了解情况。实际购买的是那些相信价格标签上显示的商品？

发现：
- , , , . .
— , . , . - — .
如果说对于50年代的电影来说，时移是正常的，而对于90年代，2000年代的电影来说，这是正常的，那么在最近几年中，它已经很少见了。在这种情况下，完全有机会完全修复旧版本。这不能不令人高兴。

未完待续。敬请关注！

总体而言，每个人的头痛都更少，尤其是3D方面！

致谢

我衷心感谢：

我的同事弗拉基米尔·亚努什科夫斯基（Vladimir Yanushkovsky）承担了上述工作中的绝大部分，尤里·吉特曼（Yuri Gitman）为成功解决方案的出现做出了巨大贡献，谢尔盖·格里申（Sergey Grishin）以及他的视频组的及时插补方法用于补偿时间偏移，以及视频组的其他成员，基于此，上述算法得以创建，然后计算出结果，
- Senior Scientist RealD ,
Intel, Cisco, Verizon YUVsoft , ,
.. ,
(Ross Copeland) (Boris Starosta) ,
, , ,
最后，我们还要感谢Artyom Kazakov，Anastasia Antsiferova，Vladimir Yanushkovsky，Alexei Shalpegin，Vitaliy Lyudvichenko，Alexander Zhirkov，Alexander Voronov和Alexei Fedorov所做的许多有益的评论和更正，使本文变得更好了！

也可以看看：

为什么3D头痛/第7部分：角度之间的时间偏移