在GDC 2017现场,零镜网也看到了不少VR设备相关技术的展示,比如我们比较熟悉的基于计算机视觉的手势识别技术,他们的代表厂商分别是uSens和Leap Motion。
Leap Motion是相对老牌的手势识别厂商,由其CTO Davie Holz(左)和CEO Michael Buckwald(右)创立于2010年,2013年发布了其第一款产品,也是VR圈内曾经广泛使用的产品。
其最早推出的当家产品目前已经停产,我们在GDC现场看到的是与VR头显整合后的产品,Leap Motion希望是作为技术提供商与更多头显厂商或者眼镜厂商合作,提供手势识别功能。
不过,目前基于其技术的产品还是空间定位和手势识别分别工作,也就是说上部两个摄像头负责空间定位,下部两个摄像头负责手势识别,未来的目标是实现整合。
现场参展的还有另一家目前势头比较猛的同类厂商uSense,也就是我们通常所说的凌感科技,其成立于2013年7月,2016年6月完成A轮2000万美元融资。
其现场展示的主要是针对移动VR平台的手势识别模块,也就是即将推出的Fingo。这是类已于Leap Motion之前产品的独立模块,可以兼容从HTC Vive到Daydream的几乎所有VR类设备。
其实现的技术原理和效果大概是这样的,用两个摄像头对手部进行手势识别,同时利用两个摄像头的视角差来计算出手部各个点的空间位置,实现立体定位追踪。
零镜网在GDC现场分别体验了整合Leap Motion技术的VR头显以及使用了uSense Fingo模块的Daydream眼镜,如果让我给他们打分,大概会是60分。手势识别确实已经可以支持,对于指关节的定位和追踪在一般情况下比较准确,可以完成基本的游戏操作。从这个角度讲,这是一个及格的技术。
不过手势识别技术距离我们的设想,显然还有不小的差距,需要相关厂商进一步在技术方面进行推动。
首先是识别的准确性和效率。手势识别的准确性还有待加强,这需要进一步优化图像识别的算法,对手势图像的深度学习需要长时间推进。
其次是性能需求的处理。图像识别需要消耗一定的计算性能,如果是在PC端,这个问题还不算突出,但是如果是在移动端使用,要借用原本性能就不太充足的手机来进行图像识别,可能会在速度和功耗方面出现问题。这同样会影响手势识别的速度,如果在摄像头部分单独设置图像处理芯片,在硬件层面进行专门计算,无论是效率还是功耗,都是更好的选择。
最后,基于双摄像头的空间手势识别技术天生具有一些短板,比如当手指前后遮挡时无法准确识别,以及必须让双手始终保持在摄像头可视范围内。这这种基本问题很难通过后期的技术优化来弥补,因此也就限制了计算机识别手势识别的应用范围。也许面向特定人群、特定用途,比如儿童、体感游戏等,会有不错的表现。至于需要更准确定位的空间设计类应用,也许基于激光或者磁定位的专用手部外设,才是更好的选择。