Meta Reality Labs开发可呈现逼真虚拟化身的原型VR头显

据RoadtoVR报道，Meta Reality Labs研究人员创建了一个原型VR头显，该头显配置了设计用于AI处理的定制加速器芯片，从而使该公司逼真的用户虚拟化身（Codec Avatars）在VR一体机上的呈现成为可能。

早在更名Meta之前，Meta（Facebook）就一直致力于其“Codec Avatars”项目，该项目旨在使近乎逼真的虚拟化身成为现实，该系统整合了头显传感器功能（如眼动追踪和嘴部追踪）与AI处理功能，以实时呈现用户虚拟化身。

基于NVIDIA Titan X GPU强大功能支持，Meta“Codec Avatars”研发得以突飞猛进，如今，Meta已开始研究如何在低功率VR一体机上制作Codec Avatars，正如上个月2022 IEEE CICC会议期间Meta发表的一篇论文证明，Meta创建了一个采用7nm工艺构建的定制芯片，以作为Codec Avatars的加速器。

研究人员表示，该芯片远未上市，团队在设计时考虑了Codec Avatars处理管道的重要组成部分——分析传入的眼动追踪图像、并生成Codec Avatars模型所需的数据，该芯片基底面仅为1.6mm²。

“该测试芯片采用7nm技术节点制造，具有神经网络（NN）加速器，由1024乘积（MAC）阵列、2MB片内SRAM和32位RISC-V CPU组成。”

反过来，Meta基于芯片特定架构，还重建了部分Codec Avatars AI模型。

“通过重构基于卷积（神经网络）的注视提取模型并为硬件量身定制，使模型适配芯片，以减轻片外存储器访问的系统级能耗和延迟成本，”Reality Labs研究人员指出，“通过电路级别有效加速卷积运算，该原型芯片在低外形尺寸下实现了每秒30帧的性能和低功耗。”

通过加速Codec Avatars密集部分的工作负载，该芯片不仅加快了效能，还降低了所需的功率和能耗，另外由于芯片采用定制设计，它比通用CPU更加有效。

通常而言，头显通用CPU（Quest 2 Snapdragon XR2芯片）以全功耗运行，而自定义芯片则处理Codec Avatars编码过程、XR2管理解码过程并呈现化身实际视觉效果。

令人印象深刻的是，Meta Codec Avatars可以兼容于VR一体机（即使需要专门芯片），但我们尚不清楚Codec Avatars的视觉渲染处理效果。

这项研究代表了新计算架构的实际应用，Reality Lab首席科学家Michael Abrash最近将其描述为实现XR科幻愿景的必经之路，Michael Abrash表示，从高度集中的处理转向更分布式的处理，对于这类头显的功率和性能需求至关重要。

可以想象，XR特有的一系列功能将受益于专门设计用于加速效能的芯片，例如，基于位置跟踪和手部跟踪功能将能提升XR体验（这也是将硬件和算法结合设计以优化功率和速率的优势之处）。