拯救XR，蘋果力不從心
來源 | 光子星球撰文 | 文燁豪 編輯 | 吳先之 蘋果終于呈上了它的“答卷”。 北京時間6月6日凌晨，蘋果2023年全球開發者大會（WWDC）如期舉行。作為蘋果CEO庫克口中&ld
9 月 2 日消息，今天，騰訊混元 3D 世界模型系列最新成員 ——HunyuanWorld-Voyager（簡稱混元 Voyager）正式發布，這也是業界首個支持原生 3D 重建的超長漫游世界模型。
官方稱，該模型聚焦于 AI 在空間智能領域的應用擴展，將為虛擬現實、物理仿真、游戲開發等領域提供高保真的 3D 場景漫游能力。
混元 Voyager 突破了傳統視頻生成在空間一致性和探索范圍上的局限，能夠生成長距離、世界一致的漫游場景，支持將視頻直接導出為 3D 格式。
據了解，混元 Voyager 3D 輸入-3D 輸出的特性，與此前已開源的混元世界模型 1.0 高度適配，可進一步擴展 1.0 模型漫游范圍，提升復雜場景的生成質量，并可對生成的場景做風格化控制和編輯。
不僅如此，混元 Voyager 還可支持視頻場景重建、3D 物體紋理生成、視頻風格定制化生成、視頻深度估計等多種 3D 理解與生成應用，展現出空間智能的潛力。
當前，可交互的視頻模型已經展現出在世界模型生成上的潛力。然而，實際應用中（如虛擬現實、物理仿真等）通常需要能夠建模的顯式 3D 場景，純視頻的生成內容很難為用戶提供更加真實的交互形式。另一方面，直接生成 3D 形式的世界場景，雖具備更好的空間結構的一致性和交互應用的拓展性，卻受限于 3D 訓練數據稀缺與 3D 表征內存效率低下等問題，無法泛化到更多的類別和更大場景中。混元 Voyager 框架創新性地將場景深度預測引入視頻生成過程，融合了視頻生成與 3D 建模優勢，基于相機可控的視頻生成技術，從初始場景視圖和用戶指定相機軌跡中，合成可自由控制視角、空間連貫的 RGB-D 視頻（包含 RGB 圖像和深度信息的點云視頻）。
用戶可通過鍵盤或者搖桿控制生成對應的視頻畫面，并通過 3D 空間記憶保持畫面的高度一致性，實現與可交互視頻模型如 Genie3 等相同的功能。同時，Voyager 還支持將生成視頻無損導出 3D 點云，無需依賴 COLMAP 等額外重建工具。
混元 Voyager 首次通過空間與特征結合的方式，支持原生的 3D 記憶和場景重建，避免了傳統后處理帶來的延遲和精度損失。同時，在輸入端加入 3D 條件保證畫面視角精準，輸出端直接生成 3D 點云，適配多種應用場景。額外的深度信息還能支持視頻場景重建、3D 物體紋理生成、風格化編輯和深度估計等功能。
Voyager 還引入了可擴展的世界緩存機制，基于 1.0 模型生成的初始 3D 點云緩存，將其投影到目標相機視圖，為擴散模型提供指導。此外，生成的視頻幀還會實時更新緩存，形成閉環系統，支持任意相機軌跡，同時維持幾何一致性。這不僅擴展了漫游范圍，還為 1.0 模型補充新視角內容，提升整體生成質量。
該模型在斯坦福大學李飛飛團隊發布的世界模型基準測試 WorldScore 上位居綜合能力首位，超越現有開源方法，在視頻生成和 3D 重建任務中均表現出色。在視頻生成和視頻 3D 重建兩個任務上，Voyager 也均取得更好的結果。
和現有開源方法比較，HunyuanWorld-Voyager 可重建出更加精確的 3DGS 場景
騰訊混元世界模型系列開源正不斷加速。7 月，混元 3D 世界模型 1.0 發布并開源，成為業界首個兼容傳統 CG 管線的可漫游世界生成模型。8 月，推出 1.0 Lite 版，降低顯存需求，支持消費級顯卡部署。僅兩周后，針對遮擋視圖和探索范圍限制，混元團隊進一步優化，推出超長漫游世界模型 Voyager。
此前，混元已陸續開源業界領先的文生圖、視頻生成和 3D 生成能力，提供接近商業模型性能的開源模型，混元 3D 系列開源模型下載量位居開源社區榜首。
在基礎模型方面，混元開源了 MoE 架構的代表性模型混元 large、混合推理模型 Hunyuan-A13B，以及多個面向端側場景的小尺寸模型，最小僅 0.5B 參數。最新開源的翻譯模型 Hunyuan-MT-7B，在國際翻譯比賽中斬獲 31 個語種中的 30 項冠軍。
HunyuanWorld-Voyager 現已正式上線，相關技術報告已公開，源代碼在 GitHub 和 Hugging Face 上免費開放。
項目主頁：https://3d-models.hunyuan.tencent.com/world/
Github：https://github.com/Tencent-Hunyuan/HunyuanWorld-Voyager
Hugging Face：https://huggingface.co/tencent/HunyuanWorld-Voyager
本文鏈接：http://www.www897cc.com/showinfo-45-27304-0.html騰訊混元 Voyager3D 世界模型發布，可生成長距離、世界一致的漫游場景
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號