8 月 12 日消息,昆侖萬維 SkyWork AI 技術發布周于 8 月 11 日啟動,連續五天每天發布一款模型,覆蓋多模態 AI 核心場景。
今日,昆侖萬維帶來了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升級版本 ——「Matrix-Game 2.0」,號稱是實現了通用場景下的交互式實時長序列生成的世界模型。
并且為促進交互式世界模型領域的發展,「Matrix-Game 2.0」全面開源,號稱是業內首個在通用場景上實現實時長序列交互式生成的世界模型開源方案。
「Matrix-Game 2.0」號稱在實時生成和長序列能力上實現了“質的飛躍”。相較于上一版本,2.0 版本更加側重低延遲、高幀率的長序列交互性能,能夠以 25 FPS 的速度,在多種復雜場景中穩定生成連續視頻內容,且生成時長可擴展至分鐘級,大幅提升了連貫性與實用性。
在推理速度顯著提升的同時,模型依然保持了對物理規律與場景語義的“精準理解”,支持用戶通過簡單指令,自由探索、操控并實時構建結構清晰、細節豐富、規則合理的虛擬環境。
昆侖萬維還開源了 Matrix-3D 大模型,從單圖像出發,生成高質量、軌跡一致的全景視頻,并直接還原可漫游的三維空間,對標李飛飛 WorldLabs 的生成效果,可實現更大范圍的探索空間。
Matrix-3D 由以下核心部分組成:
軌跡引導的全景視頻生成模塊:利用場景 Mesh 渲染圖作為條件輸入,訓練視頻擴散模型生成符合給定相機軌跡的全景視頻。提升生成視頻在空間結構上的一致性,緩解遮擋錯誤與圖像偽影問題。
雙路徑可選擇的全景 3D 重建模塊:優化路徑,對生成的視頻進行超分與 3DGS 優化,獲取高質量 3D 結構。前饋網絡路徑:基于 Transformer 直接回歸,從生成視頻 Latent 特征快速預測 3D 幾何屬性,實現高效重建。
Matrix-Pano 數據集:大規模高質量合成數據集,包含 116K 條帶有相機軌跡、深度圖和文本注釋的靜態全景視頻序列。
附兩個模型的開源地址如下:
https://github.com/SkyworkAI/Matrix-Game
https://github.com/SkyworkAI/Matrix-3D
本文鏈接:http://www.www897cc.com/showinfo-45-26089-0.htmlAI 生成游戲,昆侖萬維發布并開源 Matrix-Game 2.0、Matrix-3D 模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com