机器人从仿真训练环境走向现实世界，常常面临巨大的“仿真到现实（sim-to-real）”鸿沟——虚拟场景与物理世界在视觉、物理特性上的差异会导致训练好的模型在现实中表现不佳。在英伟达Omniverse官方频道的一场直播中，Niantic Spatial、Flexion与英伟达三方展示了一条全新的解决路径：利用3D高斯泼溅（3D Gaussian Splatting, 3DGS）技术，仅用一台市售360度相机花费约500美元、扫描10分钟，就能创建一个可供机器人训练的高保真数字孪生环境，且在该环境中训练出的导航模型无需额外微调，即可直接部署到真实机器人上运行。
这一突破性工作流的核心，在于构建一个视觉与物理特性同时逼真的训练环境。
现实捕获与重建（Real2Sim）：起点是Niantic Spatial的3D重建管线。使用一台普通360度相机对真实空间（如Flexion位于瑞士苏黎世的办公室）进行约10分钟的扫描后，该管线能一次性输出两种关键数据：一个用于提供逼真视觉画面的3D高斯泼溅模型，以及一个用于计算碰撞等物理交互的对齐网格（mesh）模型。两者被封装在一个USDZ文件中，可直接加载到英伟达的Isaac Sim仿真平台。Niantic Spatial通过其独有的深度模型对形状进行约束，解决了常见重建中产生的“悬浮粒子”或“地板空洞”等物理不准确问题。
大规模并行训练（Sim）：在获得数字孪生场景后，Flexion在英伟达Isaac Lab平台上进行了强化学习训练。关键在于，他们训练的导航策略（policy）直接以机器人的RGB摄像头画面为输入，而非传统的深度图像。在Isaac Lab的支持下，该重建场景能高效渲染RGB图像，使得在单个GPU上就能并行训练数千个虚拟机器人，积累了数百万次的“试错”经验。
训练完成后，真正的考验来临。该RGB导航策略被零样本（zero-shot）直接部署到真实的机器人上，未经过任何额外的现实微调。实验结果令人振奋：即使测试环境发生了变化（如桌子位置移动），机器人依然能够成功按照指令依次抵达三个途经点。
更令人惊讶的是，机器人在现实世界中表现出了远超训练设定的泛化能力。它不仅避开了深度传感器难以探测的薄桌面，还对训练环境中未曾包含的物体（如透明玻璃板、细三脚架）产生了自主避让反应。实验数据也证实了在3DGS重建场景中训练的有效性：在Flexion办公室场景下，基于RGB策略在3DGS重建环境中训练的成功率高达97.8%，远高于在无纹理网格环境中训练的同类策略。
这项突破得益于英伟达机器人仿真平台的关键更新。英伟达的Gabriele Stante在直播中透露，过去的Isaac Sim 5.1因采用图像叠加方式，在光影和反射处理上存在局限。而新一代的Isaac Sim 6与Isaac Lab 3引入了光线追踪技术，能够精确处理金属、透明物体，甚至模拟高斯泼溅模型上投射的阴影，这为高保真视觉训练提供了基础。
根据官方发布信息，Isaac Lab 3.0已进入Beta阶段，其通过支持多后端物理引擎（包括基于MuJoCo-Warp的Newton引擎）实现了可“无Kit（kit-less）”运行的模式，为更快速、灵活的机器人学习研究铺平了道路。结合英伟达此前发布的Isaac GR00T平台和Lyra 2.0场景生成技术，一个从数据采集、环境生成到仿真训练、现实部署的完整物理AI开发闭环正在加速形成。
