AI需要XR:世界模型,为大模型补上物理世界的眼睛

🤖 由 文心大模型 生成的文章摘要

2026年6月AWE长滩展会上,Ori Inbar一句玩笑引人深思:机器人也是观众,欢迎它们和创造者一同落座。本届大会主题从 “AI爱XR” 改为 “AI需要XR”,语序的调换,标志着行业叙事的转向。

长久以来,XR圈普遍认为AI是XR的救星。大模型热潮带来资本与流量,生成式工具降低AR内容创作门槛,一句话生成AR的雏形逐步落地。这套逻辑成立,却将XR置于依附者的位置。而新观点恰恰相反:受限的其实是AI。当下主流大模型扎根文本,学习沉淀为文字的人类知识,擅长对话、写作,但它并不认识真实世界。现实遵循物理规则,物体会坠落、会碰撞。AI想要跳出文本,真正理解三维空间,就需要感知环境的 “眼睛” 与躯体,而这套空间感知能力,正是XR近十年持续打磨的核心。

世界模型(world models),可以理解为面向物理世界的空间大模型。普通LLM读取文字、预测文本;世界模型读取空间信息,模拟物理规律、预判现实变化。二者容错差距巨大:大模型产生幻觉,只是一段不实文字;世界模型预判失误,则会造成机器人碰撞、物品损毁等现实事故。

XR为世界模型同时提供输入底座和输出载体。输入端,世界模型需要空间几何、物体语义信息,这正是AR眼镜环境重建、空间定位的本职。Snap在展会推出的SPECS眼镜仅132克,毫秒级完成房间扫描,7毫秒动显延迟,稳定锚定数字内容。Meta、Google、Snap 长期投入的空间感知技术,可供世界模型直接复用。输出端,AR眼镜是最贴合人眼的交互载体,数字助手、空间提示都能自然叠加在现实视野之上;延伸至物理 AI,机器人、工业智能设备不需要聊天窗口,依靠XR相关的空间感知能力,才能在复杂现场移动、避障、作业。

前景之下,挑战同样严峻。物理世界没有标准答案,海量长尾场景、层出不穷的意外,让不确定性指数级上升。XR老将Matt Miesnieks直言,相比世界模型要面对的难题,如今大模型的文本幻觉只是小问题。他放弃照搬LLM生成范式,采用Yann LeCun主推的JEPA架构,让模型学习抽象因果概念而非逐像素生成画面。Meta的V-JEPA 2也验证了这条路线,少量机器人数据即可支持模型在陌生环境零样本完成抓取摆放。

算力网络与空间数据是另一重阻碍。纯云端渲染受延迟制约,已有前车之鉴。Mawari选择 DePIN去中心化算力网络,全球分布式节点分担渲染压力,目前节点超14万个。它借鉴Waze 众包思路,佩戴眼镜的用户沿途回传平视空间数据,共建空间数据库。相较于俯视拍摄的手机,眼镜平视视角,更贴合人类感知世界的方式。

Niantic用十年玩家地理数据训练地理大模型支撑配送机器人导航,Meta依托V-JEPA 2提升机械臂泛化能力,Snap把空间计算塞进轻量化眼镜。一系列进展串起一条主线:XR多年沉淀的空间能力,正在补齐AI缺失的现实感知。我们苦苦寻找的XR杀手级应用,或许从来不是某一款App,而是帮助AI挣脱文本牢笼,长出感知现实的躯体,迎接世界模型时代。