能够实时追踪人体运动对于AR/VR应用的浸入体验来说是至关重要的。尤其在社交方面，能够使用全身来进行情感的表达与交互比使用表情符号要有效许多。在游戏方面，能够更准确的表现全身动作也是对浸入感的一大提升。
但是，一般头戴显示器能够提供的传感数据非常有限。
为了解决这个难题，Meta旗下的Reality Labs在近期展示了一项非常有意思的新研究：使用强化学习框架取得头戴显示器与两个手柄的信号，对可能进行的全身运动进行模拟。
简单来说，运用高质量的全身运动动捕数据进行训练，一个简单的策略网络可以在紧跟移动输入信号的同时，用适当的力矩来帮助角色化身进行平衡、走动与跑动。
通过开发者展示的结果视频来看，运动中的化身与用户高度匹配，即便没有下肢的数据，运用头显传来的6D移动信息，化身移动起来也能够紧贴地面。同时，在视频中开发者还展示了不同体型和地形上的化身移动表现。
更多详情可以查看以下视频（附带字幕）：
不过，这项技术目前尚未完美，化身的动作模拟依然存在着一些不足。因为化身的动作是在没有额外的非物理基力下模拟而出的，在试图移动角色基点时需要一系列特殊的关节力矩。
不仅如此，物理模拟无法进行传送，所以当角色不断偏离用户之后，会变得很难跟上动作。因此，模拟角色在试图模仿一些高活跃度动作（跳舞、跳跃）时会摔倒，因为它们还没有接受相关扭矩控制的强化学习训练。
另外一个难点在上下肢的非常规性动作上，这会导致不同的运动被相同的上肢身体传感数据所代表，在这种情况下，策略会合成一个比较自然、符合物理性的下肢姿势，但这可能与用户所做出的姿态不契合。
更详细的技术内容，可以点击下方连接查看开发者发布的技术论文：
https://arxiv.org/abs/2209.09391
「93913原创内容，转载请注明出处」
