Gorillaz的《Saturnz Barz》360度视频和Lytro的《Hallelujah》体验等知名VR作品都专注于听觉体验。音效不仅只是用于渐渐推进听觉体验的一种线索,它可以完全改变VR冒险,甚至能够影响整个故事线。
一.行业将会在各种类型的体验中拥抱基于对象的音频
如同360度相机可以从单点捕捉整个3D场景,一个环境立体声(Ambisonics)麦克风可以在给定时间内描述出360度场景中的音频快照。环境立体声信号十分适合传输大体环境,但难以精准定位单体声音。这个缺点困扰音频工程师已有相当一段时间。
从今年年初开始,更多的音频工程师开始使用基于对象的音频和基于场景的音频来创建更为逼真的听觉体验。基于对象的音频是指被领夹式麦克风捕捉的单体声音;而基于场景的音频则是指被环境立体声(Ambisonics)麦克风捕捉的大体声音层。在物理现实中,你可以详细听到接近于你或对你十分重要的声音(基于对象的音频),而其他则被感知为背景声音(基于场景的音频)。对象音频和场景音频的结合成为VR音频工作流程的行业标准只是时间问题。
由于对单体声音进行后期处理更加容易,基于对象的音频为内容创作者提供了更多的创意内容(我们可以想象单个原始元素与一个大型凌乱的声音组合之间的比较)。另外,基于对象的音频完美适配6自由度VR内容,而这种内容正变得越来越受欢迎。
6自由度内容就如同游戏,角色可以在空间中任意走动,同时可以与环境中的对象交互。当角色进行任意这种活动时,声音需要相应地发生变化。因为可以更好地在游戏中定位声音,以及可以轻易表达出变化,所以基于对象的音频实际上早已用于3D游戏引擎中。
二.更多企业将拥抱空间音频,高质量VR内容也会随之出现
空间音频是传达逼真VR体验的关键。空间化的声源提供了三维位置数据,让用户感觉声音好像真的是从这些声音位置中传来。就目前而言,YouTube和Facebook是唯一支持空间音频的知名播放器平台。
发行平台数量上的限制使得内容创作者在制作中全面拥抱空间音频的热情大为降低。不过,随着人们越来越意识到声音的重要性,渲染器或播放器将最终支持空间音频。当视频播客网站Vimeo在3月份推出Vimeo 360以支持360度内容时,来自用户大量的请求包括了对空间音频功能的渴望,而官方帮助页面表示他们计划在不久的将来支持空间音频。相信更小的播放器和平台将会沿着Facebook、YouTube和Vimeo的路径前进。随着VR内容质量的用户标准不断上升,空间音频将会普及开来。
有许多因素阻碍了发行平台采用空间音频,主要原因是缺少专门的VR音频格式,以及兼容的渲染器。随着行业越来越注重基于对象的音频,单纯的环境立体声将会逐步淡出舞台。
为了统一空间音频工作流程,我们在今年年初看到了GAO格式的出现。GAO格式由位于美国洛杉矶的空间音频公司G’Audio Lab开发,其把对象和环境立体声整合成单个和立体信号。
G’Audio Lab的商业开发总监布鲁克林·埃尔里克(Brooklyn Earick)表示:“许多人观看了我们的演示作品。当他们看到声音空间化并在环境立体声格式下传达的部分时,他们通常会开始微笑。然后在看到GAO部分的时候,许多人都会因惊喜而不由自主地嘴巴上扬。”由于GAO配备了兼容的渲染器SDK,所以不同大小的平台将能更容易采用空间音频。
三.创作者将探索后期制作并创建新的听觉体验
VR音频在通过相应的声音匹配视觉上已经有了精度,下一发展阶段将是在后期制作上探索令人兴奋的新技术,把专属于VR的所有潜能都发挥出来。
声音不仅只是一种用于引导VR用户视线的故事叙述线索。在部分新用例中,如果你愿意,你实际上可以在相同体验中听到特定的声音。
这种声音新浪潮不仅只是当前技术进步的一部分而已。在许多情形下,这将会给革命性的新娱乐形式让步。对艺术家而言,虚拟画布使得现实生活中的物理维度在水平和垂直上扩展了360度。音乐家现在可以把玩“虚拟位置”,然后再配合以对音高、响度和时间的传统考量。他们同时在学习如何利用人类的听觉感知,并在更深的层次影响这些体验。你在现实生活中体验过的部分心理声学可以应用在VR中,这使得体验在个人层面上有所不同。
VR音频的进步将会变成为主流消费者优化体验的关键,并赋予开拓者创新体验的必备工具。这三种趋势在达到目标之前仍有一段很长的路要走,但在未来几年内将会对塑造整个行业有很大帮助。