Niantic Spatial SDK v3.15现已正式支持Quest 3与Quest 3S设备。这款SDK为开发人员打造了一套先进的混合现实功能体系，其中包括厘米级精度的户外视觉定位系统（VPS）、长距离实时场景网格划分以及语义分割功能。这些功能的实现，得益于今年早些时候Meta开放了第三方Horizon OS应用程序对Quest 3和Quest 3S直通摄像头的访问权限，而 Niantic 则借此机会，将其研发近十年的计算机视觉模型成功应用其中。
五个月前，因开发《Pokemon Go》而广为人知的Niantic公司完成了业务拆分。其中，包含《Pokemon Go》在内的游戏业务被出售给沙特阿拉伯的Scopely公司，空间技术业务则独立为一家名为 Niantic Spatial 的新公司。
以下将详细解析Niantic Spatial SDK为Quest开发者提供的各项混合现实功能：
视觉定位系统（VPS）：突破 GPS 精度局限
全球定位系统（GPS）作为现代生活的核心要素，不仅是我们探索世界的重要工具，被广泛应用于智能手机，还催生了按需交通和配送等全新软件类别。然而，在理想条件下，GPS的精度通常仅能达到1米左右；在城市环境中，由于建筑物对信号的遮挡，其精度可能会降至几十米，这时候我们只能眼睁睁看着屏幕上的小蓝点在街区间来回晃动。
与之不同的是，视觉定位系统（VPS）是一种借助计算机视觉来确定位置的软件系统。它通过识别摄像机实时视图中的独特视觉模式，并将其与现有的高保真 3D 世界地图进行比对，从而精准定位。不过，VPS 仅适用于已完成 3D 映射、且具备足够持久密集物理几何形状的区域，但在这些区域内，它能够以厘米级的精度确定用户的具体位置。
谷歌地图在六年前就已为步行导航配备了VPS功能，依托谷歌的街景数据，该功能作为 ARCore的一部分向智能手机应用程序开发者开放。而Niantic VPS虽然也能在智能手机上运行，但它的独特之处在于，目前已支持Meta Quest 3、Quest 3S以及Magic Leap 2设备。
Niantic的VPS地图覆盖了超过100万个地点，这些地点的地图数据源自《Pokemon Go》和《Scaniverse》等游戏玩家的扫描信息。此外，Niantic宣称其VPS拥有“业界领先的精度”，并能为已扫描的公共场所提供3D网格。
在费用方面，每月前10,000次VPS API调用是免费的，超出部分的调用价格约为每次0.01美元。
实时场景网格划分：克服现有系统弊端
Quest 3和Quest 3S能够对房间进行扫描并生成3D场景网格，混合现实应用可利用该网格实现虚拟对象与物理几何体的交互，或是对环境进行重新设计。但 Meta 当前的系统存在两个主要问题。
第一个问题是，使用前必须先进行扫描。根据房屋的大小和形状，扫描过程可能需要约 20 秒到几分钟的时间，期间还需要四处查看甚至走动，这比直接打开应用程序要繁琐得多。
第二个问题是，这些场景网格扫描仅能反映执行扫描时的瞬间状态。如果之后家具被移动，或者房间内添加、移除了物品，这些变化都不会在混合现实中体现，除非用户手动更新扫描数据。例如，若扫描时有其他人站在房间里，他们的身形就会被永久记录在场景网格中。
早在五月，我们就重点报道了《Lasertag》的开发者Julian Triveri如何利用Meta Depth API在Quest 3和 3S 上实现连续场景网格划分。正如那篇文章所提及的，Triveri已将其技术的源代码发布在GitHub上，供其他开发者使用，而Hauntify也计划采用Triveri的技术方案。
不过，Depth API的处理深度仅约为4米。而Niantic Spatial SDK的实时网格划分功能支持长距离网格划分，它运用Niantic自主研发的计算机视觉算法，借助透视摄像机的视图来构建网格。因此，Niantic的这种方法更适用于户外场景，并且与自身的VPS配合使用时效果极佳。
语义分割：实现实时物体与表面识别
Niantic Spatial SDK 还能够实时识别并标记物体和表面。其中，物体识别功能与 Quest 直通相机访问开发人员样本类似，而分割功能则更为先进。
在费用方面，Niantic VPS功能按每次API调用收费，而Niantic Spatial SDK的设备端计算机视觉功能虽无使用次数限制，但需要为每位月活跃用户（MAU）每月支付约 0.10 美元。
我们预计，许多Quest 3混合现实应用程序将会采用Niantic Spatial SDK的实时网格划分功能，其VPS功能也将使Quest 3更适用于户外公共体验，尽管Quest 3的硬件并非为此专门设计。
Niantic表示，公司 “正持续扩大对其他头戴式设备的支持，提升性能，并计划推出增强遮挡和持续场景理解等新功能”，同时指出，开发者的反馈将决定下一步的发展方向。
