
VRChat现已在Open Beta客户端和Avatars SDK测试版中提供SDK级别的原生面部追踪(Face Tracking)支持。
VRChat此前多年来通过OSC(Open Sound Control)协议和社区开发的VRCFaceTracking(VRCFT)应用在技术上支持眼动与面部追踪,但虚拟形象本身并不原生支持完整的面部追踪,需要配置额外插件;若无插件,虚拟形象只能原生使用眼动追踪数据实现基本的注视和眼睑运动。
新系统实现原生SDK级创作。 如今,Steam上最新的VRChat Open Beta客户端以及Avatars SDK 3.10.6-beta.1及以上版本带来了SDK级别的面部追踪创作支持。该功能最初被描述为”高保真面部追踪”(High Fidelity Face Tracking),允许创作者通过Avatar Descriptor组件中新的专属区域为虚拟形象设置面部表情。
新系统将面部表情映射到混合形状(blendshapes)和动画器参数,支持VRCFT的Unified Expressions标准,并与VRChat的音频驱动口型(visemes)、眼动注视和眼睑功能集成。目前尚不支持Blended Shapes或Simplified Parameters。
更进一步,该系统允许网络同步的面部追踪,且不占用虚拟形象的同步参数预算。理论上,这意味着虚拟形象的同步参数负载降低、其他用户看到的面部表情视觉一致性更好、性能更佳。
兼容多种追踪方式。 VRChat的原生面部追踪支持VRCFT(Steam最新测试版)等OSC方式,也支持VRChat的Selfie Expression功能——用户可通过网络摄像头或前置摄像头,在桌面PC和Android设备上将面部表情镜像到虚拟形象上。
VRChat表示,该功能已在封闭测试中运行一段时间,公司一直在收集知名社区成员和创作者(如Hash、VRCFT团队等)的反馈。创作者兼开发者Hash已为多款热门Booth虚拟形象包更新了利用新SDK功能的测试版变体,已购买的用户可以切换使用。
硬件支持仍然有限。目前同时具备眼动追踪和基于摄像头的面部追踪硬件支持及第三方API的头显并不多,最主流的选择是Pico 4 Pro和Enterprise、Meta Quest Pro以及三星Galaxy XR,此外Meta Quest 3和3S等头显也有开源和社区构建的解决方案。VRCFT还能传递仅支持眼动追踪的头显及配件的数据,如Bigscreen Beyond 2e。
Meta VR Glasses的限制引发开发者不满。 值得注意的是,即将推出的Meta VR Glasses在硬件上同时支持眼动和基于摄像头的面部追踪,使用专用传感器追踪眼睛,并通过与手部追踪相同的向下摄像头捕捉面部信号。然而,据数据挖掘者兼程序员Nori发现,Meta在发布时不会像Meta Quest Pro那样向第三方开放视觉面部追踪数据源的API访问——在Quest Pro上,Steam Link和Virtual Desktop等应用已能将抽象的追踪数据转发给VRCFT等OSC应用。开发者将只能访问眼动追踪,并须依赖名为Audio to Expressions的音频驱动数据源,基于摄像头的面部追踪将仅限于第一方使用,例如新的逼真全息虚拟形象。
这一限制已引发开发者不满,Meta开发者倡导者Dilmer Valecillos表示反馈将转达给相关团队。Meta VR开发者网站上要求为Meta VR Glasses提供基于摄像头面部追踪API的反馈帖目前是投票第四高的调查项,状态标记为”已积压——有团队已将其列入待办事项,未来将处理”。






