在科技領(lǐng)域的又一重大突破中,昆侖萬維公司宣布成功推出Matrix-Zero世界模型,標(biāo)志著中國企業(yè)在探索空間智能技術(shù)方面邁出了領(lǐng)先一步。這一創(chuàng)新成果不僅展示了將圖片轉(zhuǎn)化為可自由探索3D場景的能力,還實現(xiàn)了以用戶輸入為核心的可交互視頻生成。
Matrix-Zero世界模型包含兩大核心組件:一是昆侖萬維自主研發(fā)的3D場景生成大模型,該模型能將用戶提供的圖片轉(zhuǎn)化為逼真且可自由探索的3D場景。相較于現(xiàn)有的技術(shù),如World Labs,Matrix-Zero不僅提供了更大的探索范圍和更高的自由度,還融入了動態(tài)物理效果,為用戶帶來更加沉浸式的體驗。二是可交互視頻生成大模型,這一模型能夠根據(jù)用戶的實時輸入生成互動視頻,具備高度精準(zhǔn)的action model控制,極大地豐富了視頻內(nèi)容的交互性和個性化。
昆侖萬維的3D場景生成功能,憑借全局一致性和自由探索的特性,支持不同風(fēng)格的圖片輸入和風(fēng)格遷移,還能生成動態(tài)場景。這一技術(shù)的背后,是兩個關(guān)鍵模塊:場景布局生成模塊和紋理生成模塊。前者利用可微渲染和擴散模型技術(shù),確保生成的3D場景布局與輸入圖片高度一致;后者則在圖片和視頻生成模型的基礎(chǔ)上訓(xùn)練,能夠在用戶移動時不斷補全場景中的缺失區(qū)域,確保場景在任何角度和位置都顯得合理且連貫。
昆侖萬維的可交互視頻生成大模型,建立在先進的生成式視頻模型之上,并結(jié)合了自主研發(fā)的用戶交互模塊,實現(xiàn)了以用戶輸入為核心驅(qū)動的空間智能視頻生成方案。這一方案不僅保持了開放領(lǐng)域視頻生成的能力,還顯著增強了對視頻內(nèi)容中視角移動的精確控制,更好地滿足了用戶的交互需求和預(yù)期。這一技術(shù)突破,不僅拓寬了視頻內(nèi)容的生成邊界,還為虛擬環(huán)境、交互式應(yīng)用和沉浸式體驗提供了全新的應(yīng)用場景。
昆侖萬維作為中國的AI領(lǐng)軍企業(yè),一直致力于通用人工智能的實現(xiàn),并持續(xù)在人工智能領(lǐng)域進行自主研發(fā)。近年來,公司在視覺多模態(tài)、深度學(xué)習(xí)、強化學(xué)習(xí)等關(guān)鍵技術(shù)方向上取得了顯著成果,并構(gòu)建了完整的AI矩陣,包括天工AI搜索、AI音樂創(chuàng)作平臺Mureka、AI短劇平臺SkyReels、AI社交產(chǎn)品Linky以及AI游戲等。這些創(chuàng)新產(chǎn)品和應(yīng)用,共同構(gòu)成了“AI前沿基礎(chǔ)研究——基座模型——AI矩陣產(chǎn)品/應(yīng)用”的完整產(chǎn)業(yè)鏈。
Matrix-Zero世界模型的推出,是昆侖萬維對未來AI技術(shù)布局的重要一步。這一創(chuàng)新模型不僅將賦能公司的AI游戲生產(chǎn)、AI短劇生產(chǎn)和編輯等業(yè)務(wù),還將為用戶和開發(fā)者提供全新的平臺和工具。隨著視頻生成模型技術(shù)的不斷發(fā)展,未來游戲可能不再依賴傳統(tǒng)的3D引擎,許多實驗和模擬都可以在虛擬環(huán)境中進行,影視創(chuàng)作也將變得更加普及。昆侖萬維的這一技術(shù)突破,正引領(lǐng)著這一趨勢的發(fā)展。
本文鏈接:http://www.www897cc.com/showinfo-45-10755-0.html昆侖萬維Matrix-Zero模型:重塑空間智能,引領(lǐng)AI新紀(jì)元
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com