高斯溅射赋能,4DV AI以WebXR演示重塑6DoF视频体验

🤖 由 文心大模型 生成的文章摘要

近日,4DV AI带来令人瞩目的技术突破,推出基于20个摄像机视图创建的体积6DoF(六自由度)视频的WebXR演示。用户只需拥有VR头显,即刻便能踏入这场沉浸式的视觉盛宴,感受前沿科技带来的震撼体验。

4DV AI的技术之所以能实现如此惊艳的效果,核心在于其采用的高斯溅射技术。这项技术巧妙借助机器学习领域的最新成果,如同一位技艺精湛的“数字雕刻家”,能够从普通的视频输入中“训练”出逼真的体积输出。

在当下的科技发展浪潮中,高斯溅射技术对于逼真体积渲染的意义,丝毫不亚于大型语言模型(LLM)之于聊天机器人——它正推动着相关技术走出高成本、小范围应用的困境,逐渐融入大众视野。从高端专业设备Varjo Teleport,到面向大众的Niantic Scaniverse,高斯溅射技术的身影无处不在,正加速着体积渲染技术的普及与革新。​

与此前同类技术相比,4DV AI的优势极为显著。以Gracia为例,去年其发布的移动飞溅演示虽然引发关注,但其系统训练一帧图像竟需漫长的六分钟,这无疑极大限制了应用场景和效率。反观4DV AI,其研究论文中明确指出,技术速度实现了质的飞跃,达到Gracia的30倍之多,能够在相同的六分钟内,完成整整一秒视频的训练。不仅如此,在拍摄场景搭建方面,二者也存在巨大差异。

Gracia的场景搭建堪称“豪华配置”,需要使用昂贵且笨重的摄影棚,数十台摄像机围绕拍摄对象呈球形排列,如此复杂的设置不仅成本高昂,而且拍摄过程中几乎难以纳入完整背景。4DV AI则另辟蹊径,仅需约20台普通摄像机,在场景一侧捕捉整个正面弧线即可完成拍摄。虽然这尚未达到傻瓜相机般简单易用的程度,但对于专业摄影师而言,搭建这样的拍摄方案已是相对轻松便捷。​

在数据处理效率方面,4DV AI同样表现亮眼。其每秒镜头的数据量约为12.5兆字节,这意味着在每秒100兆比特的互联网连接条件下,理论上每秒镜头仅需一秒的加载时间,极大减少了用户等待时长,让流畅的沉浸式体验不再是空想。​

进入4DV AI的WebXR演示,用户仿若置身于一段独特的180°3D视频之中。与传统视频不同的是,这段视频具备6DoF特性,用户可以自由倾斜身体,场景会根据视角变化做出自然响应,不会出现如同固定在头上般的生硬移动,仿佛真正置身于立体的虚拟世界。不过需要注意的是,当用户远离摄像头重叠的中心区域,尤其是进入完全遮挡的区域时,画面可能会出现模糊和伪影。尽管目前的重建效果尚未达到尽善尽美,但相较于传统的沉浸式视频,这种自由倾斜视角的能力已然是一次重大突破,为用户带来了前所未有的交互体验。​

想要亲自体验4DV AI的WebXR演示十分便捷。无论是使用Quest、PICO、Apple Vision Pro等独立头显,在其自带的网络浏览器中打开;还是通过支持WebXR的浏览器,如Chrome,在PC VR设备上开启,都能轻松实现。演示内容丰富多样,包含八个10秒的精彩片段,还有一些精心设计的静态场景。即便暂时没有VR头显,也能通过平面屏幕观看所有场景,同样能领略到4DV AI技术的魅力。​

从实际体验来看,在Apple Vision Pro和PC VR设备上,演示运行相对流畅,画面抖动较小,能够为用户带来较为舒适的沉浸式体验。而在Quest3设备上,部分用户可能会遇到屏幕空间伪影和较为严重的性能问题。由此可见,不同设备上的体验会有所差异,用户可以根据自身设备情况,感受4DV AI技术带来的独特魅力。

「93913原创内容,转载请注明出处」