Vive生态圈上的MR《魂斗罗》体验背后,没你想的那样简单!

《魂斗罗》这款游戏,曾是无数痴迷游戏的70年代到90年代少年心爱之作。小编也曾废寝忘食的沉迷于此,一遍又一遍刷着该款游戏。更是幻想着如果能够进入真实的《魂斗罗》的世界,该是一件多么庆幸的事。

此前,《魂斗罗》将展出VR版本的消息令小编心动不已,但始终无缘得见。在3月27日深圳召开的Vive生态圈大会上,小编却有幸得见VR版《魂斗罗》。此外,身在游戏中的玩家更是呈现在混合现实视频之中,无疑一圆众多玩家的少年时代的梦想。那么《魂斗罗》MR体验又是怎样实现的呢?小编带着好奇的心情揭开了答案。

原理相同,称谓不同

目前,在混合现实视频制作方面,以下一些公司、工作室较为突出:

Ivreal,重庆虚拟实境有限公司,称其为混合现实拍摄(MR Shooting);
YouTube Space工作室,称其为混合现实视频捕捉(Mixed Reality Video Capture);
UPload VR工作室 ,称其为混合现实(Mixed Reality);
Blueprint Reality,称其为混合现实传播Mixcast(Mixed Reality Broadcast缩写)。

几者称谓虽有不同,但都是为混合现实传播而服务。此外,其实现的方式均相同,通过摄像机、手柄、绿幕的方式实现。而据零镜网了解,实现混合现实视频的制作,需要从以下角度入手:

1、第三视角内容

Vive头显设备中两块AMOLED显示屏分别对应呈现左右眼的画面。在电脑输出画面中,通常展示其中一只眼睛所看到的画面。如果仅仅使用该画面,将大为受限——人无法观看到自己身后的世界。

因此在录制时通常采用第三人称视角,与玩家保持一定距离下,采用虚拟录像机进行录制。只需将镜头对准玩家所处的位置,就能录制以第三人称视角呈现的VR内容画面。但会增添一定渲染负担。

2、记录用户影像

由于仅需录制用户影像,其余多余物体都不需要。因此要采用影视拍摄所常用的绿幕。在搭建绿幕的房间中运用真实摄像机进行拍摄,再运用抠像技术,保留人物影像即可。

3、合成画面

为了保证虚拟摄像机与真实摄像机影像能够重合,就需确保两者视角、与物体距离一致。这就需要另一个Vive Tracker或者Vive手柄进行定位定向,让虚拟机位=真实机位。定位器在虚拟世界的移动,等同于摄像机在真实世界的移动。这样,能够使得现实摄像机拍摄的画面,与虚拟画面完美融合,达到以假乱真的目的。

在上述过程中,需要面临的是繁琐的绿幕搭建过程。无论是个人分享还是产品发布会,抑或需要MR传播的场合,都需要费时费力的绿幕搭建。此外,搭建的绿幕还可能与周围环境存在不协调的状况。此外,需要考虑摄像机和定位器(手柄或追踪器)之间的偏移,虽然事先可以计算出一个数据。但倘若移动,可能造成相对位置的变化。

视频效果参差不齐

虽然都基于一致的搭建方案,但视频呈现效果却参差不齐,我们不妨再参照上述公司的实际呈现画面来进行说明:

Ivreal:上图为此前DEMO演示画面。不知是否因所选内容导致,画面整体偏暗,画面中出现的人物也许仔细观看才能发现。由于人物没有佩戴手柄头显,无法评估细节贴合程度。但星球景深层次还算明显。而在Vive生态圈大会上演示的《魂斗罗》混合现实体验来看,其技术有所改善,营造了令人更为信服的混合现实体验,人物贴合与此前相比也更为自然。

Youtube Space工作室:从GIF来看,其优势较为明显,在从现实转换到虚拟,手柄变为枪的时候,抠像效果不错。在加入背景之后,景深层次也较为清晰。而最后实现的,手和枪的贴合度几乎完成了无缝衔接,画面流畅性也颇高。

UPload VR工作室:手柄射出的光,在透视结构上比较合理。下图虽然景深处理正确,但手和棍棒的衔接没有到位,部分细节丢失也较为严重。

Blueprint Reality:景深层次合格,窗户空格部分也处理得较为清晰,但是整体抠像偏蓝。图像处理也不到位,手与物体的贴合也不够稳定。

上述方案呈现的效果,在景深处理方面,几乎都是合格的。但是在手柄的处理上,无论是手部的同步定位,还是贴合度等方面,都存在较大挑战。此外,在拍摄画面与虚拟环境融合方面,想要协调自然都需要手工进行调整。这些无疑都是目前难以解决的痛点。

零镜观点

虽然虚拟现实行业尚未爆发,但我们能够看到在虚拟现实行业发展的过程中,一系列问题都在得以解决。除了来自公司方面的开发者以外,虚拟现实硬件厂商HTC Vive、Facebook都曾向观众展示他们自己的解决方案。而VR内容的创造者,如《Fantastic Contraption》游戏,允许直接连接摄像头进行视频录制,此外还可以制作虚拟物品漂浮在用户房间中的片段,更无需使用绿屏。而引擎公司更是不会忘了应对需求做出调整。Unity插件中也添加了支持混合现实拍摄的功能,Epic Games的虚幻引擎现在也支持了混合现实拍摄功能。

此外,在所有混合现实视频制作中似乎都存在另一问题,绿幕前的用户佩戴着头显,呈现在传播画面中的是无法看见头显的拥有距离感的陌生人。为此谷歌推出了一项新的技术,使得混合现实视频中呈现出用户的脸部表情,使得混合现实视频不再具有违和感。但距离正常的画风,我们显然还有很长的路要走。

我们期待有一天能够在混合现实视频中能够看到真实的人脸呈现,亦或者不再有有碍观瞻的笨重头显的出现。我们期待更新的技术带给我们更多的便利,摆脱繁琐的绿幕搭建的过程,摆脱生硬传播画面印象。它无疑将有助于VR游戏直播、VR电竞行业等领域的发展。或许到了那个时候,混合现实视频才将具备真正的传播属性,才是我们翘首以盼的未来。


勘误:此前编辑误将UploadVR工作室误以为是租借UploadVR工位的LIV团队。特在此勘误。同时欢迎各位读者留言指出零镜网文中错误之处,我们将予以改正。