研究人员基于VR手柄摄像头组建全身追踪解决方案“ControllerPose”

据UploadVR报道，美国卡内基梅隆大学研究人员基于VR手柄摄像头建立了身体追踪系统。

如今，消费者VR系统只能追踪用户头部和手部位置，市场上还没有可追踪用户躯体或四肢的追踪系统，为解决追踪问题，PCVR玩家便基于HTC Vive Trackers以连接身体腰臀部和脚部搭建全身追踪系统，但由于Vive Trackers单个售价139美元，且如果用户没有配置SteamVR基站，则总搭建费用超过700美元；另外，还有一些非官方的身体追踪解决方案采用旧硬件和自制驱动程序，例如微软Kinect，则只能从前置角度工作，且追踪质量不是很好。

从理论上讲，头显指向身体的额外摄像头可以追踪四肢，但腿部视野通常会被躯体或手臂遮挡，特别是在头显越来越轻薄的时下，而像Meta这样的大厂也可以通过发布整合了摄像头、电池和集成计算机视觉算法移动芯片组的无线外部跟踪站，但很明显，让用户购买和设置如此昂贵的追踪配件并不现实。

而“ControllerPose”则是一个全身追踪原型解决方案，其基于两个与VR手柄连接的鱼眼摄像头进行身体追踪，该软件可将两个摄像头拍摄的视图拼接，以实现更宽广视野，尽可能实现全身追踪，研究人员表示，身体追踪可精确到8.59厘米以内。

为了解决摄像头追踪问题，研究人员尝试了两种方法：将数据流式传输到附近PC，以及基于Raspberry Pi Compute Module 4和Google Coral进行处理，而通过PC（或VR一体机）搭建追踪系统相对便宜，但板载处理则会降低延迟。

去年9月，泄露的Project Cambria手柄图显示手柄拥有三个板载摄像头（支持inside-out 追踪），同时泄露的教程视频也确认了身体追踪的可行性，由此预见，Project Cambria或未来Meta头显可能都将采用类似于“ControllerPose”的解决方案进行身体追踪。

研究人员称，“ControllerPose”的缺点是，“有32%的操控时间处于视野盲区”，未来，手柄或头显都将搭载支持全身追踪的集成摄像头，但似乎只有外部解决方案才能实现完全可靠身体追踪，更为重要的是，该解决方案的市场前景如何，也需要时间证明。