技术

关于VR视频的理解可能大多数人都是错的

作者

Gordon

2016年11月8日

如果你对VR视频充满好奇，希望了解其拍摄与制作过程；或者你本身就是摄影团队，想从事VR图片/视频方面的拍摄工作，不妨关注【零镜网】近期关于VR视频方面的系列报道。

VR视频与全景视频有什么不同？

很多人把360度全景视频和VR视频等同起来，这其实是一个概念上的误解。

我们用一张图来说明360度全景视频和VR视频的不同（下图）。

全景视频很好理解，就是有别于传统视频单一的观看视角，让人们可以360度自由观看。而VR视频在此基础上，还允许人们在视频里自由移动观看（提供场景中任意位置的360度自由视角）。

全景视频可以是3D的也可以不是，可以通过屏幕观看，也可以带上眼镜观看。而VR视频必须带上头显观看，且必须是3D的。

全景视频是线性播放的，也就是按照时间轴来进行回放的。而VR视频可以允许用户在同一时间，站在不同的位置观看（有点类似科幻电影里时间暂停了，然后观察者在定格的时间和空间里任意移动，观看周围的人物和景物）。

全景视频和VR视频有什么相似之处？

1.都可以是3D的（全景视频也有2D版）；

2.都能360度上下、左右旋转观看；

3.具有视觉沉浸感。

那有什么不同呢？

最大区别就是VR视频允许观看者在场景里自由走动观察，但全景视频不行，拍摄机位在哪儿，观看者就必须在哪儿，顶多只能原地360度观看。

如果是一部VR电影，那么传统的“镜头运动、场景切换、Zoom In or Zoom Out”可能都将被取代，由观众来决定镜头位置。你可以把VR视频看成是“3D全景视频+自由移动”。

所以，现在大家所看到的基本都是“伪VR视频”，各大视频网站上标称的VR视频也基本都是360度全景视频。而打着“VR相机”口号行销的其实大部分都是360度全景相机。那么，我们不禁要问，真正的VR视频是什么样呢？

真正的VR视频目前只能通过CG实现

如何才能拍摄出真正的VR视频呢？很遗憾，以现在的技术手段和设备能力还很难实现。所以到目前为止，我们还没有看到过一部真正意义上的VR视频是被实际拍摄出来的。因为一台摄像机只能捕捉一个位置的光线，而要实现场景里的自由移动，需要捕捉场景里任意位置的光线，显然我们无法在场景里安置那么多摄像机，这是矛盾的。

那未来有没有可能呢？答案是肯定的。要拍摄真正意义上的VR视频，我们需要光场摄像机。

什么是光场摄像机？这绝对是一个黑科技，很难用几句话表述清楚。大概意思就是通过矩阵式摄像头（非常非常多的微型摄像头），捕捉和记录周围不同角度射入的光线信号，再利用计算机后期合成出任意位置的图像。

Lytro公司去年发布的360度光场摄像机Immerge，其内部的数百个镜头和图像传感器分为五个“层”（你可以想象每层都是20部GoPro相机组合在一起），除此之外还配套专用的服务器（下图）和编辑工具等。

与传统摄像机不同的是，光场摄像机除了记录色彩和光线强度信息外，还会记录光线的射入方向——这就是“光场”技术的由来。

有了从四面八方射入的光的方向信息，再利用算法，就能对环境进行分析，逆向建模，从而还原出一个三维的环境模型。这和计算机建模（CG）的结果是相似的，只不过CG是人为主观“虚构”模型，而光场摄像机是逆向方式“客观”还原模型。

有了三维模型，计算机便可以实时计算出任意位置的视觉图像，3D+360度全景也没有问题。这就是说，光场摄像机所在的位置拍摄到的景象是真实的，而自由移动位置后看到的景象是通过电脑后期合成的。

不过话说回来，光场摄像机现在仍只是概念产品，Lytro公司也坦言目前他们只能做到视角在一定范围的左右和前后移动，要想“看到”物体背面的样子还不行（也许要对反射光进行计算和建模）。所以要实现真正意义上的VR视频，还是电脑建模然后实时渲染输出最简单。

如今所有的VR游戏，都可以看作是VR视频。不仅可以3D显示+360度全景，还可以自由移动，甚至控制时间轴也没有问题。只是，VR视频都用计算机建模了，还有拍摄什么事情呢？我们要继续讨论VR视频的拍摄过程吗？

当然要，全景视频虽然是“伪VR视频”，但全景视频还是可以被认为是VR视频的初级阶段。因为全景视频加上3D效果也能带来沉浸感，相比普通视频已经有了质的飞跃，应用领域也非常广阔，值得我们去尝试和探索。

电影级的全景（VR）拍摄装备

事实上，到目前为止还没有严格意义上的电影级全景摄影机，Nokia售价30+万的OZO也不能算。而所谓的电影级摄像机，除了大家熟悉的分辨率、色彩等参数指标非常优秀以外，还配备有大尺寸的感光元件（CCD/CMOS），具有高感、低噪（高宽容度）等特性，此外还必须能够拍摄高帧率视频（甚至超过1000帧/秒），输出RAW格式，并满足长时间、苛刻环境拍摄……等一系列要求。比如常见的RED的ONE系列和ARRI的Alexa系列，还有SONY的F系列摄影机等等。

如何把这些昂贵、体积巨大、使用复杂的专业摄像机小型化，并集成在一个“球/盒子”里，形成360度全景摄像机，还真是一个世界难题。然而即便如此，全世界依然有很多天才们开发出了令人惊讶的设备，下面我们一起来看一下。

HypeVR

Hype采用将14个RED Dragon拼合的方式实现了能达到电影级VR设备的方案，Red Dragon单机的最高分辨率是6K，最终视频拼接完成后可以达到16K@90fps，并且还是3D格式，这个指标相当震撼了。

除此之外，机器上方那个银色的跟话筒似的东西是Velodyne公司的激光雷达扫描仪，开机后会快速自旋以反馈摄像机集群与周围物体的距离。这有什么意义呢？

Velodyne激光雷达扫描仪能够捕捉三维深度信息（宣称环境范围内可多达70万至1亿个点），利用深度信息，HypeVR的深度信息处理系统（后期处理）可以让观众拉近或拉远与主体（比如赛场）之间的距离，提供一定范围内的自由移动。与前面提到的光场相机类似，这是目前看来最接近真正VR效果的摄像系统。

NextVR

NextVR成立于2009年，拥有从拍摄、压缩、传输到内容播放等几十项VR领域的专利。其主要业务主要涵盖体育赛事、美国总统辩论、摇滚演唱会等方面的VR直播。

跟HypeVR很像，NextVR也是采用的RED DRAGON 6K，只是他们选择了6台拼接方案，三个方位，每个方位安放两台，也支持3D功能。虽然机器只有六台，但是代价依然不菲：Red Dragon 3万美元一台，佳能8-15mm f/4L鱼眼镜头1400美元一支。监视器是Red Pro，1600美元一个等等。对于直播来说，分辨率要求没那么高，RED的机器可以轻松实现。

HeadcaseVR

HeadcaseVR团队来自好莱坞，专门从事VR电影拍摄工作。主要采用17目Codex Action Cameras。Codex Cam有12bit RAW的记录体系和13.5档的高动态。采用2 / 3英寸的CCD传感器，单相机分辨率1920×1080，最高60fps。

这个镜头的优势是尺寸较小，只有45mm x 42mm×53mm，同时配备专业的采集设备来实现录制。HeadcaseVR团队还定制了适合移动VR视频拍摄的移动工具，虽然看上去像一台布满电池和采集器以及供电元件的轮椅，臃肿而复杂，不过他们这台移动设备号称解决了在VR视频拍摄中由移动产生的位移偏差及抖动问题。