如果说各类软件应用和游戏是XR世界的软装，各类头显和眼镜是XR世界的建筑框架，那么以高通为主的芯片厂商推出的各类XR芯片就是整个虚拟世界的基石。
9月27日，高通推出了两个新的空间计算平台：第二代骁龙XR2和第一代骁龙AR1。与此同时，Meta召开了一年一度的Connect开发者大会，推出了搭载XR2 Gen2的Meta Quest 3——拥有更高的分辨率、更强的性能、更大的视场角、更高的视频透视像素，以及搭载AR1 Gen1的Ray-Ban Meta智能眼镜系列。
芯片持续迭代
高通深耕XR领域已超过十年，并在近年来不断推出专属的芯片平台。
在2019年之前，头显厂商就已经在使用高通骁龙移动端芯片研发VR头显，其中最初骁龙820平台支持单眼1K分辨率60fps显示和3DoF；之后骁龙835平台可以实现单眼1.5K分辨率60fps显示和6DoF，到骁龙845平台就已经可以支持单眼2K分辨率120fps显示和即时定位与地图构建（SLAM）技术。随着单眼2K分辨率120fps显示、6DoF以及SLAM技术的实现，针对XR设备推出专属芯片平台的技术基础搭建完毕。
2019年3月，高通推出第一代骁龙XR1平台；2020年9月，高通推出第一代骁龙XR2平台；2022年10月，高通推出第一代骁龙XR2+平台；2022年11月，高通推出第一代骁龙AR2平台。截至目前，已经有HTC Vive、Meta、爱奇艺、联想、PICO等众多品牌超过80款各类XR头显和眼镜发布，极大地丰富了整个XR硬件生态，也为各类XR软件和游戏应用构建了平台基础。
目前，VR和MR行业的发展势头非常强劲。从轻量化的AR应用，到深度的VR/MR体验；从游戏、健身、娱乐、购物、导航等消费级应用，到培训、教育、医疗、远程协助等行业应用，XR领域已经构建了完整的生态体系，并且形成了娱乐硬件与生产力工具不同的产品形态。随着此次两个新平台的发布，从XR2、XR1到AR2、AR1，高通已经构筑了完整的空间计算平台体系，针对从混合现实到虚拟现实再到增强现实的不同类型产品。
第二代骁龙XR2平台：为顶级VR/MR而生
目前在高端领域，MR/VR头显类设备已经实现了融合：硬件可以同时支持沉浸式和数字化的虚拟现实，以及物理世界和数字世界无缝融合的混合现实。针对这类产品，骁龙XR2 Gen2主要从三个方面进行优化。
（一）优化性能和功耗
骁龙XR2 Gen2的整体架构针对性能和能效进行了大幅度优化。与上一代产品（骁龙XR2 Gen1）相比，骁龙XR2 Gen2实现了2.5倍的GPU性能提升，GPU能效提升了50%，可以支撑高性能的MR/VR体验。骁龙XR2 Gen2在支持单眼3K×3K高分辨率显示的同时，还加入了多个显示性能优化特性，比如空间扭曲、游戏超级分辨率和视觉聚焦渲染等，这些特性与显卡上的DLSS功能类似，都可以大幅提升实际体验。
在提升性能的同时，骁龙XR2 Gen2平台依然采用集成度更高的单芯片架构。相比苹果Vision Pro采用M2和R1双芯片解决方案，骁龙XR2 Gen2单芯片方案可以让头显设计得更轻薄，从而带来舒适度的提升。同时，单芯片设计以及优化的CPU、GPU架构也可以降低平台的整体功耗，在实现高性能的同时确保足够的续航时间，而不需要像苹果Vision Pro那样外接电池组。
（二）实现更流畅的交互
如果说CPU和GPU性能属于移动平台通用需求的话，那么多维度的感知技术则属于MR/VR平台的特殊需求。比如MR/VR设备在工作时，需要同时实现空间识别、头部追踪、手柄/手势追踪、动作追踪、眼球追踪、面部表情识别、语音识别等多维度的并发感知，以实现对用户和环境的理解。其中，空间识别还涉及到平面检测、深度检测、3D重建、物体识别和追踪等。
这些技术在运行过程中需要消耗大量的算力，而骁龙XR2 Gen2的Hexagon NPU支持INT8，并优化了不同计算模块之间的连接，终端侧每瓦特AI性能是骁龙XR2 Gen1的8倍。
除了大幅提升的AI能力外，骁龙XR2 Gen2的计算机视觉模块进行了大幅升级。针对MR/VR头显开启6DoF头部追踪后带来的算力消耗，骁龙XR2 Gen2支持10路并行摄像头和传感器，将特征探测和追踪（Feature detection and tracking）功能整合到了芯片的硬件视觉分析引擎（Engine for Visual Analytics）中。与采用软件解决方案的骁龙XR2 Gen1相比，不但关键点检测数量大幅提升，同时也显著降低了功耗和时延。
实现无缝交互还需要连接技术的支持。骁龙XR2 Gen2支持Wi-Fi 7和Wi-Fi 6E连接，以及面向XR的高通FastConnect软件套件，能够实现25%的功耗降低，峰值速度达到了5.8Gbps，并且时延降低80%。
（三）优化的视频透视
MR需要在VR的基础上叠加现实信息特别是视频信息，因此就需要将外置摄像头拍摄的实时视频流投射到头显屏幕上。为了避免造成不适，视频透视过程的时延需要保持在极低的水平。骁龙XR2 Gen2对整个视频透视（VST）线程进行优化，可以将时延降低到12ms；同时通过新一代Spectra ISP进行几何校正、降噪、动态亮度调整等，提升了视频透视的图像质量。
第一代骁龙AR1平台：聚焦轻量化AR眼镜需求
相比重型的VR/MR头显，AR眼镜比较轻量化，在去年底高通针对AR眼镜推出了骁龙AR2 Gen1平台。不过支持6DoF、分布式计算等特性让AR眼镜略显笨重，同时也需要借助与智能手机的连接来实现各种应用。此次推出的骁龙AR1 Gen1平台并不是骁龙AR2 Gen1的升级，而是定位更加轻量化、侧重功耗优化的新平台，针对的正是轻量化智能眼镜类产品。这类产品强调的是影像拍摄、网络连接以及终端AI辅助。比如直接使用眼镜进行拍摄、分享或直播，亦或者是通过终端侧AI能力实现音质增强、视觉搜索、实时翻译等辅助能力。骁龙AR1 Gen1可以在眼镜端就完成以上工作，只有在数据传输时才需要借助手机。骁龙AR1 Gen1主要具备以下三个核心能力：
（一）大幅提升的即时拍摄体验
无论是AI分析还是视频分享，都离不开基础的影像拍摄能力。作为一个轻量化的计算平台，骁龙AR1 Gen1首先确保的是足够强大的影像拍摄性能。它拥有14-bit双ISP配置，支持1200万像素照片拍摄和600万像素视频拍摄，并且支持计算HDR、人像模式、自动人脸检测、自动曝光等智能手机上具备的影像特性。
（二）端侧AI与感知能力
必要的硬件级端侧AI性能对于智能眼镜非常必要，骁龙AR1 Gen1拥有第三代Hexagon NPU，有助于实现影像增强、音频降噪、视觉搜索、语音交互、实时翻译、交通导航等功能。此外，骁龙AR1 Gen1还支持面向健康和运动的健康传感器，可以让智能眼镜提供实用的情境信息和指令。
（三）灵活可扩展
骁龙AR1 Gen1拥有面向XR的高通FastConnect软件套件，支持Wi-Fi 7和蓝牙5.3连接，具备良好的连接性。结合前面提到的ISP和AI性能，骁龙AR1 Gen1可以支持多种不同配置的智能眼镜，比如具备出色摄像头和音乐功能、以图像拍摄为核心的智能眼镜；支持单目显示、完美支持提醒通知和导航应用的智能眼镜；以及支持双目显示、具备更丰富视觉效果的智能眼镜。
写在最后
XR行业在多年的发展过程中，几乎所有从业者都在期待某些或者某个爆款硬件和软件能够彻底激活市场。因此，今年苹果发布Vision Pro成为了XR行业的热门话题。不过在我看来，价格昂贵、采用多芯片方案、需要外接电池的Vision Pro并没有那么惊艳，反而是高通持续更新多个XR芯片平台，才是整个XR行业前行的动力。正如高通技术公司副总裁兼XR业务总经理司宏国（Hugo Swart）在接受媒体采访时所说：苹果进入XR市场为行业带来了积极的影响，但是高通和苹果的策略不同，高通采用了一种更加实用的思路，以合理的价格将VR和MR体验带到更广阔的市场当中。越来越完善的XR芯片方案，也让更多初创企业可以更容易进入到相关领域。
