黑科技!Adobe让普通360度视频秒变VR视频!

Adobe想要采用一项新的技术将传统的平面360度视频转换为更具沉浸感的3D体验,使其具有一定的深度信息,并最终转变目前用户需要购买专用立体捕捉相机的劣势,使其仅需现成的360相机便可完成VR视频的制作。

Adobe的研究项目负责人Gavin Miller近日在国际的广播协会上宣布,新的软件技术旨在将6自由度带给普通的360视频,这也意味着日后你不仅可以左、右、上、下、进行观看,而且有能力进行自由活动,就像你真的置身于视频中的环境一样。

根据Adobe研究者人员提供的信息,该视频位置追踪通过新的变形算法实现,能够在平面视频中合成新的观看角度,所有画面都将严格保持120帧/秒的刷新速率。因此,该技术可以使视频更为稳定,因此它能够成为一个有效的工具,尤其是对那些期待画面平滑输出而非手持摄影的渣画质的VR用户这无疑是一项好消息。但是它面临主要的缺陷在于:为了从平面360视频中恢复3D几何形状,相机需要始终处于移动状态。

Adobe的研究报告指出,该技术首先利用了被称为SFM(structure-from-motion,结构运动)的算法来计算相机的运动和创造基本的3D复原。在推断来自捕捉点的3D几何构造后,再将视频中的每一帧画面标记到立方体贴图的6个面上。此后再在6个图像平面上运行标准的计算机视觉追踪算法。而绘制到立方体贴图上的不可避免的瑕疵,将通过视场角超过45度从而产生重叠区域来进行处理。

对于平面360视频而言,该技术并非良药。除了需要一直使相机处于移动状态外,3D重建的质量还取决于合成出的点距离原点位置的远近。走得太远太快都有可能面临画面摇晃的结果。而且,当一些自然现象像比较大块的无特定结构的区域、遮挡、光照变化等都可能对3维重建的点云造成一定影响。在固定视角的演示中,当算法尝试混合合成帧与原帧时,你也会看到一些非静态对象的扭曲瑕疵。

另外一种实现6自由度VR视频的技术,通常需要像HypeVR这样令人震惊的6K/60FPS的光场相机,或者LiDAR套件以及Lytro光场相机。虽然能够生产高质量的3D内容,但是需要定制且价格高昂。直到该技术出现在Adobe的产品中,消费级360度相机诞生真正的3D VR视频才可能成为事实。而现在这仍有待观察。

零镜网看到,Adobe正在进行的尝试,是试图使低端的360全景相机在某种程度上拥有价格高昂的高端光场相机拍摄的效果,尽管目前该技术仍存在大量瑕疵,但是对于行业来说,这是一次将真正的3D VR视频带向普通设备用户的努力。这种努力值得肯定。但现目前,或许采用光场相机仍旧具有更大的价值与意义。我们也期待更多的尝试,使创建真正3D VR视频的技术平民化。