Meta研究人员展示了基于人工智能驱动的身体姿势系统最新成果。
目前的VR系统开箱即用，却只能追踪头部和手部位置。尽管基于称为逆运动学(IK)的算法可估计肘部、躯干和腿部位置，但有时仅对肘部准确，而对腿部则很少正确。对于每组给定的头部和手部位置，都有太多潜在的解决方案，考虑到IK的局限性，现在的一些VR应用程序仅显示手部，更多的应用程序仅显示上半身。
如今，智能手机应用已能基于计算机视觉进行VR身体追踪，但这需要将手机安装在角落，并且只有当用户面对它时才能正常工作；采用SteamVR追踪的PC VR头显基于额外追踪器（例如HTC Vive Tracker）支持更高质量的身体追踪，但购买足够多的身体追踪设备需要花费数百美元。
去年，三名Meta研究人员展示了QuestSim，这是一种强化学习模型，可以仅使用Meta Quest 2及其手柄追踪数据来估计合理的全身姿势。不需要额外的追踪器或外部传感器，生成的化身运动与用户的真实运动相当接近。研究人员甚至声称，由此产生的精度和抖动优于IMU追踪器，例如索尼Mocopi。
但导致QuestSim失灵的一个极端情况是，当用户与现实世界交互时，例如坐在椅子或沙发上时。处理这个问题，尤其是坐姿和站立之间的过渡，对于社交VR中的逼真完整身体至关重要。
在一篇名为Quest Env Sim的新论文中，这三位研究人员和另外两位研究人员提出了一个更新的模型，并考虑了环境中的家具和其他物体：
尽管研究结果令人印象深刻。但是，QuestEnvSim不会很快兼容Quest 2，与最初的QuestSim一样，这里有几个重要的注意事项。
首先，本文没有提及所描述系统的运行时性能。机器学习研究论文往往以相对较低的帧率在功能强大的PC GPU上运行。
其次，对家具和物品进行人工扫描，并在虚拟环境中进行定位。虽然Quest 3也许能够通过深度传感器自动扫描家具，但Quest 2和Quest Pro没有关键的传感器数据。
最后，这些系统旨在产生合理的整体全身姿势，而不是与你双手的确切位置相匹配。系统的延迟也相当于VR中的许多帧。因此，即使这些方法可以实时运行，但在VR中俯视自己身体时效果并不理想。
但是，假设系统最终能够得到优化，那么看到其他人化身的全身运动将比Meta当前无腿上半身化身要好得多。
来源：UploadVR
