苹果索尼Meta消费级XR硬件新标配，眼球追踪的「魅力」在哪里？

文艺复兴三杰之一的达芬奇曾经说过：“眼睛是心灵的窗户”。眼睛在人与人之间的沟通交流中扮演着重要的角色，用以传递情绪等言语之外的信息。

对于计算机来说，人类的眼睛也包含了许多有价值的数据等待挖掘。在人机交互（HCI）领域，如何让计算机来识别人类通过眼球传达的信息，一直是科学家们关注的课题。近几年来，在机器学习、深度学习以及人工智能等技术的帮助下，通过追踪眼球运动获取的信息和数据已经可以间接揭示种族、性格特征、情绪、兴趣、技能以及身心健康状况等信息，医疗、工业、汽车、教育、娱乐、航空航天、无障碍辅助等领域都开始尝试将眼球追踪技术投入实际应用中，以求带来更好的人机交互体验。

XR产业作为人机交互领域的探索前沿，与眼球追踪技术更是有着诸多交集——曾登上《时代周刊》封面的Oculus创始人Palmer Luckey在2016年初就表示：“眼球追踪是VR的心脏，未来的VR头显必将支持眼球追踪技术”。

紧随其后的是巨头们对眼球追踪技术公司的收购浪潮——2016年底，谷歌收购曾发布过VR眼球追踪技术的Eyefluence；大约同一时间，Meta（原Facebook）麾下的Oculus收购丹麦眼球追踪初创企业The Eye Tribe；2017年，苹果收购了主要开发用于VR头显、AR眼镜眼球追踪技术的德国企业SMI（SensoMotoric Istruments）。

尽管如此，眼球追踪技术在消费市场的普及似乎比预想的要困难一些，直到近期索尼PSVR 2、Meta Project Cambria（尚未正式公布产品名称）、苹果MR一体机等XR新品上市在即，才为眼球追踪功能在消费领域的普及正式揭开序幕。

苹果、谷歌、Meta和索尼等巨头为何如此看好眼球追踪技术？它又能为消费者的XR体验带来哪些切实的提升？眼球追踪技术为何花费了数年时间才真正进入消费市场的普及阶段？带着这些疑问，我们专门采访了七鑫易维副总裁路伟成，以探求相关问题的答案。

▲七鑫易维副总裁路伟成

注视点渲染，开辟通向视网膜级画面道路的「圣剑」

“眼球追踪技术在XR领域的应用场景十分广泛，除了可以直接用于交互，还可用于注视点渲染、瞳距（IPD）调节、变焦系统等能够显著提升用户体验的特性上”，路伟成在采访中告诉我们。

在路伟成看来，在VR/AR的场景下，传统键盘鼠标或手机触屏的方式并不适合用于交互，尤其是目前需要控制器等外设支持的交互方式，会由于便携性较差而显得冗余。眼球追踪能精准识别用户凝视的目标，从而发挥出类似「光标」的作用。未来，眼球追踪将与语音识别、手部追踪等共同构成VR/AR的主流交互方式，虽然它们的使用场景或多或少都存在一些限制，但相互之间能够互相弥补形成一套交互体系，再搭配上小巧的触摸指环，从而适应全天候、全场景的使用环境。

如果说眼球追踪技术在XR设备交互方面的优点还不够突出，那么在改善用户体验方面，就可以说是一件「大杀器」了。

自XR技术诞生以来，阻碍人们沉浸到虚拟世界中的一大难题，就是GPU渲染的画面分辨率难以满足人眼对画面细腻程度的追求，其最直观的反应就是画面的颗粒感（或者像素感）十分严重。而根据人眼的生理特性计算，只有当XR设备能够提供单眼约12K分辨率的画面时才能真正满足人眼的需求。

▲注：VR头显中每只眼显示的画面长宽更接近1:1，单眼12K≈双眼24K

这里我们先罗列下市场上主流VR头显的单眼分辨率：Quest 2和Pico Neo 3均为1832×1920，Valve Index为1440×1600，HTC Vive Pro 2为2448×2448——不难看出，与人眼需求的12K分辨率还存在着极大的鸿沟。

以销量突破1000万的Quest 2为例做个简单计算——它的单眼分辨率为1832×1920，对应约352万个像素；而单眼12K分辨率，对应约1.44亿像素数量，两者相差近40倍。这也意味着，想要驱动一台单眼分辨率12K的移动XR设备，需要一颗运算能力超过高通骁龙XR 2近40倍的芯片！

按照过往骁龙芯片的迭代数据来看，新一代产品相比上一代的运算能力提升幅度通常在30%左右，单纯依靠芯片迭代所带来的提升攻克「单眼12K画面渲染」的天堑，可能需要10年甚至更久的时间……

因此，我们需要一种在运算能力无法快速大幅提升的情况下，能大幅提高渲染效率的解决方案——眼球追踪+注视点渲染技术。

人眼在看东西时，并不是整个视野范围都一样清晰，而是中心点清晰，越往周边越模糊。因此，在XR设备上渲染显示图像时，也并不需要整个画面都同一解析度，而是正在注视的画面中间的视觉“甜蜜点”最高，往周围依次降低，通过这样的方法，能大幅减少每帧画面需要渲染的像素数量，这就是注视点渲染的原理。

“我们在小派的设备上实现了眼球追踪+注视点渲染技术，也在不同的游戏中做了大量测试”，路伟成透露，“尽管每款游戏的数据会有所差异，但整体来讲，能节省最低30%、最高70%的性能开销。”

这也与前段时间索尼在GDC 2022上透露出的PSVR 2表现数据相吻合——同时开启注视点渲染和眼球追踪时最多可以将GPU帧时间缩短3.6倍，单独使用注视点渲染时则缩短2.5倍。具体来说，在开启动态照明与阴影的设置下运行演示内容「VR Alchemy Lab」时，PSVR 2的帧时间从33.2毫秒下降到14.3毫秒；在另一个4K分辨率的宇宙飞船示例中，PSVR 2的CPU线程性能提高了32%，而GPU帧时间则从14.3毫秒下降到12.5毫秒。

“这样的数据意味着，原本在VR中运行时只能达到30多帧的内容，在开启眼球追踪和注视点渲染后，或许就可以达到75帧、90帧甚至120帧；而运行一些低负载内容时，开启眼球追踪和注视点渲染也能有效降低负载，从而减少发热量并延长续航。这是眼球追踪技术为XR设备带来的最大好处。”

可以说，在眼球追踪与注视点渲染技术的帮助下，整个XR产业实现单眼12K视网膜级渲染的时间点有望大大提前。未来随着VR硬件视场角的扩大，中心渲染区占比将更小，意味着眼球追踪与注视点渲染技术能够起到更明显的效果，进一步弥合视网膜级渲染所需的性能缺口。

除了切实的解决目前XR硬件面临的能耗瓶颈，眼球追踪还有更多的用武之地，路伟成也做了详细的阐述：辅助许多XR硬件本身带有的瞳距调节功能，帮助用户精准调节与对准；用于变焦系统，改善定焦系统导致的辐辏调节冲突（Vergence-Accommodation Conflict，调焦冲突）等等。

规模效应摊薄成本，消费市场「东风已起」

▲七鑫易维联合HTC推出的眼球追踪配件Droolon F2

既然眼球追踪技术的加入能给XR硬件带来这么多好处，为何过去几年，消费市场上却罕见配备眼球追踪功能的产品？路伟成表示核心原因在于成本，“关键器件的成本和研发投入的摊薄，决定了小体量下眼球追踪硬件价格无法降至消费者能承受的范畴。”

“目前消费市场上真正有销售规模的XR硬件，只有Meta Quest 2。但它采用了低价策略，299美元的售价几乎连硬件成本都无法覆盖，因此注定无法配备眼球追踪这样需要额外增加硬件成本的功能。竞品厂商也被迫采用了同样的低价策略。因此，眼球追踪功能此前主要出现在对价格不敏感的B端硬件上。”

根据路伟成的介绍，眼球追踪在B端已有广泛的应用，例如用于脑认知、老年痴呆筛查等医疗场景以及监督工人注意力等工业安全场景均可以发挥出色的效果，例如绿谷制药集团旗下子公司专门开发的VR医疗产品、某航空公司停机绕检监督等均采用了七鑫易维的眼球追踪技术。

“接下来，随着索尼PSVR 2、Meta Project Cambria以及苹果MR一体机等标配眼球追踪功能的XR硬件陆续发售，其他品牌也将紧随其后加入，从而带动眼球追踪硬件的销量。七鑫易维的合作方囊括了几乎所有国内XR硬件品牌，并与英伟达、AMD、高通、微软、华为等生态合作伙伴深入合作。”

无论索尼PSVR 2、Meta Project Cambria，还是苹果MR一体机，无疑都有着极大潜力成为消费市场的热销产品，眼球追踪功能即将迎来规模化普及。如此一来，不仅眼球追踪技术企业能获得更充沛的研究资金，也意味着相应软硬件成本的快速下降，形成产品力上升、成本下降的良性循环。

当然，瞄准眼球追踪的远不止海外的巨头。虽然未透露具体品牌，路伟成也指出，国内部分XR品牌正积极筹备配备眼球追踪功能的新产品。随着这些新产品的推出，七鑫易维也将顺势乘着东风迎来一个业务快速增长的黄金时期。

专利深筑护城河，千亿市场谁与争锋？

根据IDC的预测，到2026年，VR/AR全球出货量将超过5000万台。作为VR/AR消费市场的新宠，眼球追踪的市场规模自然也水涨船高。

“未来，眼球追踪功能是VR/AR硬件的标配。就VR而言，注视点渲染的需求决定了眼球追踪的高渗透率，对AR来说，眼球追踪将会成为必不可少的交互功能。当VR/AR硬件逐步达到手机在人们生活中地位的同时，市场规模也将达到万亿级，眼球追踪对应的市场规模或将达到千亿级”，路伟成对眼球追踪未来的发展充满了信心。

具备如此潜力的市场从来都不会缺乏竞争者，但在路伟成看来，深耕眼球追踪技术及应用超过13年的七鑫易维已经建立了深厚的护城河，足以在面对任何竞争对手时保持自身的优势地位不动摇。“眼球追踪技术本身就具备着极高的技术壁垒，人眼的生理特征受年龄、性别等因素影响差异巨大，想要跨越从「能用」到「好用」的技术阶段，需要长期通过人眼数据收集与分析来不断修正算法提高性能。”

路伟成透露，“七鑫易维迄今专利总量近500项，其中2/3为发明专利，拥有庞大的自主知识产权库，在专利发明点上的数量甚至领先欧美。”

对于大厂来说，即使技术实力和资金兼备，且真的愿意投入海量资源自研眼球追踪技术，专利带来的知识产权也始终是一道绕不过去的坎。这也是谷歌、苹果、Meta不约而同的选择收购眼球追踪技术团队的原因——不仅看到了技术的应用前景，更为了获得相关专利。

而没有布局眼球追踪相关技术的公司，往往会选择与技术优秀、方案成熟的团队战略合作，七鑫易维作为国内眼球追踪技术领域的领导者，即使放到国际市场中也极具竞争力，无疑是十分优秀的标的。这也是七鑫易维能与HTC、爱奇艺、小派、创维、nreal、NOLO、Rokid等XR硬件品牌以及英伟达、AMD、高通、微软、英特尔、华为、腾讯、阿里等大厂建立长期合作伙伴关系的底层原因。

除了深厚的技术壁垒与海量的专利布局，路伟成表示，作为一家中国本土公司，七鑫易维在国内市场上还有着更独特的优势——

“考虑到时差和沟通语言的问题，相比总部在海外的企业，七鑫易维和国内公司合作时响应速度的优势是非常明显的。如果你和海外公司合作，一个问题从提交到反馈，可能需要间隔24小时甚至更长的时间，七鑫易维作为本土企业则可以实现更快的响应速度与更高效的沟通配合。因此，国内的XR企业基本都会优先选择我们进行合作。”

「让世界读懂你的眼神」

随着索尼PSVR 2、Meta Project Cambria以及苹果MR一体机等重量级产品陆续上市，眼球追踪技术即将迎来「黄金时代」，这也是七鑫易维的发展良机。路伟成透露，接下来将与国内XR硬件品牌积极合作，加快眼球追踪硬件的集成工作，并将眼球追踪的能力完整的开放给合作伙伴，帮助他们利用好注视点渲染、眼动交互以及用户注视分析等数据，一起推动眼球追踪技术的完善和应用生态发展。

专访的最后，路伟成表示：“七鑫易维将始终以技术为核心驱动力，除了继续迭代目前已较为成熟的角膜反射法技术方案，同时也将持续关注和布局DVS（Dynamic Vision Sensors，动态视觉传感器）、MEMS（微电机系统）等眼球追踪新技术，力求为合作伙伴提供最领先的技术与最完善的服务。”

「十年磨一剑，霜刃未曾试」，一直视「让世界读懂你的眼神」为使命的七鑫易维，终于在13年的厚积薄发后迎来了最佳的「亮剑时机」。