NVIDIA发布了一项名为 “AI Blueprint for 3D – guided generative AI” 的全新技术方案，为创作者们在生成式AI领域带来了突破性的创作方式。这一蓝图通过整合一系列先进的工具和技术，让开发者能够通过 Blender创建3D场景，进而直接生成AI图像，极大地提升了创作过程中的可控性和效率。
在以往的AI图像生成中，尽管技术已经取得了显著进步，从早期模型生成手指数量错乱的人物图像，发展到如今能够生成极为逼真的视觉效果，但创作者们仍然面临着一个关键挑战 ——如何实现对创作过程的精准控制。单纯使用文本描述创建场景虽已变得相对容易，模型对提示词的匹配度也有所提升，但要通过文本精确描述诸如构图、相机角度和物体摆放等细节，依旧困难重重，且进行调整时更是复杂。一些先进的工作流程借助控制网络等工具，为解决这些问题提供了途径，然而其复杂的设置过程限制了更广泛的应用。
为了帮助创作者克服这些难题，快速获得先进的AI能力，NVIDIA在今年早些时候的CES贸易展上宣布了适用于RTX电脑的“AI Blueprint for 3D – guided generative AI”。如今，用户已经可以下载这一全新蓝图，开启全新创作体验。
该蓝图的核心原理是通过在Blender中创建的3D场景草图来控制图像生成。具体而言，Blender 生成的深度图会被提供给图像生成器——来自Black Forest Labs的Flux.1 – dev，它结合用户的提示词，生成所需的图像。深度图能够帮助图像模型理解物体应放置的位置，这一技术的优势在于，由于最终会转换为灰度图，因此并不需要高度精细的物体或高质量的纹理。并且，因为场景是3D的，用户可以轻松地移动对象、改变相机角度，实现对场景的灵活布局。
在这一蓝图的底层，ComfyUI发挥着重要作用。它是一款强大的工具，允许创作者以有趣的方式链接生成式AI模型。例如，ComfyUI Blender 插件可让用户将 Blender与ComfyUI连接起来。此外，NVIDIA Nim 微服务使用户能够部署 Flux.1 – dev模型，并在GeForce RTX GPU 上以最佳性能运行，这一过程借助了NVIDIA TensorRT软件开发套件以及诸如 FP4 和 FP8 等优化格式。值得注意的是，运行“AI Blueprint for 3D – guided generative AI”需要NVIDIA GeForce RTX 4080 GPU或更高配置的显卡支持。
