AI 賦能的圖像生成技術突飛猛進,從早期模型會生成手指過多的人類圖像,到現在能創造出令人驚嘆的逼真視覺效果。即使取得了如此飛躍,仍然存在一個挑戰:實現創意掌控。
使用文本創建場景變得更容易,不再需要復雜的描述,模型也改進了針對提示詞的一致性。但僅通過文字描述構圖、拍攝角度、物體擺放這些精細細節已經很不容易了,要修改調整更是難上加難。雖然使用 ControlNet (通過更好地控制輸出來增強圖像生成的工具) 的高級工作流提供了解決方案,但其設置復雜,限制了更廣泛的使用。
為幫助克服這些挑戰并快速獲取先進的 AI 功能,NVIDIA 在年初的 CES 展會上發布了面向 RTX PC 的 NVIDIA 3D 引導生成式 AI Blueprint。這個示例工作流包含了全套工具,讓你能從頭開始生成完全控制構圖的圖像用戶現在就可以體驗這個全新的 Blueprint。
利用 3D 控制 AI 生成的圖像
NVIDIA 的 3D 引導生成式 AI Blueprint 可控制圖像生成,它使用 Blender 中的 3D 場景草稿向圖像生成器 (Black Forest Labs 的 FLUX.1-dev) 提供深度圖,與用戶的提示詞一起生成所需的圖像。
深度圖幫助圖像模型理解物體應該如何放置。這項技術的優勢在于,它不需要高度細節化的物體或高質量紋理,因為它們將被轉換為灰度。此外,由于場景是 3D 的,用戶可以輕松移動物體并更改相機角度。
Blueprint 的底層是 ComfyUI,這是一個功能強大的工具,允許創作者以有趣的方式鏈接生成式 AI 模型。例如,用戶可以通過 ComfyUI Node Editor Blender 插件將 Blender 連接到 ComfyUI。此外,用戶可以使用 NVIDIA NIM 微服務在 GeForce RTX GPU 上部署 FLUX.1-dev 模型并以最佳性能運行,充分利用 NVIDIA TensorRT 軟件開發套件以及 FP4 和 FP8 等優化的精度格式。3D 引導的生成式 AI Blueprint 需要 NVIDIA GeForce RTX 4080 及以上 GPU。
生成式 AI 工作流的預構建基礎
3D 引導的生成式 AI Blueprint 包括開始使用高級圖像生成工作流所需的一切:Blender、ComfyUI、連接兩者的 Blender 插件、FLUX.1-dev NIM 微服務以及運行該微服務所需的 ComfyUI 節點。對于 AI 藝術家,還附帶了安裝程序和詳細的部署說明。
該 Blueprint 采用一種結構化的方式來深入圖像生成,提供了可根據特定需求量身定制的工作流。這套方案包含了手把手教程、現成素材和開箱即用的環境配置,讓你創作更輕松,效果更驚艷。
對于 AI 開發者,該 Blueprint 可以作為構建類似工作流或擴展現有工作流的基礎。它附帶源代碼、示例數據、文檔和入門工作示例。
RTX AI 提供支持的實時生成
AI Blueprint 在 NVIDIA RTX AI PC 和工作站上運行,充分利用了 NVIDIA Blackwell 架構的最新性能突破。
3D 引導的生成式 AI Blueprint 中包含的 FLUX.1-dev NIM 微服務經過 TensorRT 優化,并量化為 FP4 精度以適用于 Blackwell GPU,推理速度比原生 PyTorch FP16 提升了一倍以上。
對于使用 NVIDIA Ada Lovelace 架構 GPU 的用戶,FLUX.1-dev NIM 微服務附帶 FP8 精度,同樣由 TensorRT 加速。這些改進使高性能工作流更容易實現,從而能夠進行快速迭代和實驗。量化還有助于減少模型運行所需的顯存。使用 FP4 量化時,模型體積直接比 FP16 小了一半還多。
使用 RTX AI 進行定制和創建
目前有 10 個 NIM 微服務可用于 RTX,支持從圖像和文本生成到語音 AI 和計算機視覺的用例,更多 Blueprint 和服務即將推出。
AI Blueprint 和 NIM 微服務現已在推出,為準備在 RTX PC 和工作站上創建、定制和突破生成式 AI 界限的用戶提供了強大的基礎。
每周,RTX AI Garage 系列博客都會為那些希望詳細了解 NIM 微服務和 AI Blueprint 以及在 AI PC 和工作站上構建 AI 智能體、創意工作流、數字人、生產力應用等的用戶提供社區驅動的 AI 創新和內容。
本文鏈接:http://www.www897cc.com/showinfo-26-148515-0.html借助 NVIDIA 的 3D 引導生成式 AI Blueprint 控制 AI 圖像的構圖
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 上海警方破獲制售拍賣外掛案,涉案超百萬