5 月 14 日消息,科技媒體 9to5Mac 昨日(5 月 13 日)發(fā)布博文,報(bào)道稱(chēng)蘋(píng)果機(jī)器學(xué)習(xí)團(tuán)隊(duì)攜手南京大學(xué)和香港科技大學(xué),推出名為 Matrix3D 的 3D AI 模型,專(zhuān)注于從少數(shù) 2D 照片中重建真實(shí)世界的物體和場(chǎng)景。
用戶只需提供幾張圖像,模型就能自動(dòng)生成高質(zhì)量的 3D 輸出。這不僅簡(jiǎn)化了操作,還為應(yīng)用領(lǐng)域打開(kāi)了新機(jī)遇,進(jìn)一步推動(dòng)了 AI 領(lǐng)域的協(xié)作。
攝影測(cè)量技術(shù)利用照片進(jìn)行測(cè)量,從而創(chuàng)建 3D 模型或地圖。目前的流程依賴姿態(tài)估計(jì)和深度預(yù)測(cè)等多個(gè)獨(dú)立模型來(lái)處理具體步驟,而這種分段方法容易導(dǎo)致低效和錯(cuò)誤。
Matrix3D 則革新了這一體系。它一次性整合圖像、相機(jī)參數(shù)(如角度和焦距)以及深度數(shù)據(jù)等所有過(guò)程,通過(guò)統(tǒng)一架構(gòu)處理這些元素,減少了中間環(huán)節(jié),讓重建過(guò)程更流暢、更可靠。研究者指出,這種整合設(shè)計(jì)顯著降低了人為錯(cuò)誤的風(fēng)險(xiǎn),并提高了整體性能。
在訓(xùn)練策略方面,研究者采用了掩碼學(xué)習(xí)方法,類(lèi)似于早期 Transformer 基礎(chǔ) AI 系統(tǒng)。這種技術(shù)借鑒了 ChatGPT 早期版本的訓(xùn)練理念,在訓(xùn)練過(guò)程中隨機(jī)隱藏部分輸入數(shù)據(jù),迫使模型學(xué)會(huì)“填充空白”。這強(qiáng)化了模型的適應(yīng)性。即使數(shù)據(jù)集較小或不完整,Matrix3D 也能有效學(xué)習(xí)關(guān)鍵特征。
測(cè)試結(jié)果證明了 Matrix3D 的強(qiáng)大表現(xiàn)。用戶只需三張輸入圖像,該模型就能生成詳細(xì)的 3D 重建,包括物體和整個(gè)環(huán)境,為沉浸式技術(shù)帶來(lái)了實(shí)際應(yīng)用潛力。附上演示視頻如下:
例如,在 Apple Vision Pro 等頭顯設(shè)備中,Matrix3D 可以創(chuàng)建逼真的虛擬場(chǎng)景,提升用戶體驗(yàn)。研究者表示,這種能力將加速元宇宙和增強(qiáng)現(xiàn)實(shí)的發(fā)展。
參考
Matrix3D: Large Photogrammetry Model All-in-One
本文鏈接:http://www.www897cc.com/showinfo-45-12842-0.html3 張照片 → 全景 3D:蘋(píng)果攜手推出革命性 AI 模型 Matrix3D,簡(jiǎn)化 3D 重建過(guò)程
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com