NVIDIA XR AI进入公测:为AR眼镜与XR设备打造空间智能体

🤖 由 文心大模型 生成的文章摘要

NVIDIA公司宣布,其XR AI平台正式进入公开测试阶段。该平台旨在为开发者提供一套完整的库与工具,用于构建具备空间感知能力的多模态AI智能体,并将其部署于增强现实(AR)眼镜和扩展现实(XR)设备上,从而推动XR设备从显示终端向AI驱动的智能工作助手演进。

NVIDIA XR AI平台的核心价值在于,它能将XR设备的实时输入(包括视频、音频、深度信息、姿态和传感器数据)与企业数据、AI模型及加速计算能力相连接。这使得AI智能体能够在用户的工作流中实现“感知、推理与行动”,并提供实时的上下文辅助。

平台整合了四大核心功能:

多源数据接入:无缝处理来自AR/XR设备的各类传感器数据。

专业化工具与服务:集成NVIDIA Metropolis(视觉AI)、VSS(视频理解)和NeMo Retriever(企业知识检索)等。

AI模型支持:支持NVIDIA Nemotron推理模型、Cosmos Reason等基础模型。

智能体编排与部署:提供从原型到生产的开发工具,支持云端、数据中心及边缘环境部署。

跨行业应用案例:从工厂到手术室

NVIDIA同步展示了多个行业先锋利用该平台进行的探索性应用:

工业维护与故障排查:西门子正探索结合NVIDIA XR AI与DGX Spark,帮助工厂工程师通过轻量化眼镜,以自然语言询问AI智能体获取维护信息、故障诊断和实时操作指导,并连接工业系统与数字孪生。

科研实验指导:生物科技公司Rana的LabOS系统已集成至该平台,为干细胞治疗和基因编辑等复杂实验提供免提式、分步指导。该系统兼容Meta、Rokid等智能眼镜,能帮助研究人员确认样本、引导操作并自动记录流程。

医疗手术辅助:匹兹堡大学医学中心Surreality Lab展示了一套基于NVIDIA XR AI的手术辅助系统。其设计亮点在于,系统能智能识别并避免遮挡外科医生视野,在关键时刻提供有用信息,同时保持对患者和手术本身的聚焦。

设计评审与沉浸式内容:Innoactive用于汽车设计评审和数字孪生工作流;Atlantic Studios则将其用于“泰坦尼克号”沉浸式扫描项目,用户可通过语音指令探索沉船并获取背景信息。

「93913原创内容,转载请注明出处」