谷歌DeepMind发布Genie 4世界模型,支持实时交互模拟

🤖 由 文心大模型 生成的文章摘要

谷歌DeepMind发布新一代世界模型Genie 4,支持实时交互式模拟,目前已作为研究预览版向受信任的测试者开放。用户设定一个事件后,Genie 4可模拟接下来发生的一切——世界如何响应、声音如何变化,以及其中的人物如何移动、反应和说话。

Genie 4整合并扩展了Gemini系列AI模型的能力,其中Gemini Omni负责将模拟锚定在真实世界的外观与行为上。用户可通过自然语言提示实时修改模拟内容,例如改变天气、移动镜头或引入新的人物或物体。通过结合Gemini与Genie 4,可对复杂、多步骤事件进行建模,并在将AI系统带入现实世界之前,测试其如何在不同的环境中应对。为实现实时运行,Gemini 3.8 Flash在循环中充当引导智能体,将目标拆解为一系列步骤,并检查传入帧以验证每一步是否成功。

Genie 4可模拟空气动力学、碰撞等真实物理场景,也能模拟人物,创建对环境作出反应、可实时交互操控的角色。该模型为原生多模态,是谷歌首个原生生成音频的实时世界模型,音乐、环境音和交互对话可与世界画面同步生成。

谷歌称,其已与创意产业、新闻、教育、游戏和工程领域的受信任测试者合作。电影制作人可进入场景的实时模拟,实时调整机位、灯光、对话和动作;摄影记者正在探索如何将单张2D档案照片在数秒内转化为该环境的落地模拟;团队正在测试如何利用动态世界体验历史空间,或可视化山洪、野火等短期环境事件的演变;游戏开发者可在数秒内将初始想法转化为可探索的原型;各行业企业合作伙伴正在评估Genie 4用于快速场景生成。

谷歌表示,Genie 4设有“严格的安全护栏”,在预览版发布前已进行内部安全评估。Genie 4生成的所有视频和音频都将包含SynthID——谷歌的不可感知数字水印技术。