日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

幾何紋理重建新 SOTA!浙大提出 SIFU:單圖即可重建高質量 3D 人體模型

來源: 責編: 時間:2024-01-23 08:42:22 292觀看
導讀 【新智元導讀】最近來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,一種側視圖條件隱函數模型用于單張圖片 3D 人體重建。模型通過引入人體側視圖作為先驗條件,并結合擴散模型進行紋理增強,在幾何與紋理重

【新智元導讀】最近來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,一種側視圖條件隱函數模型用于單張圖片 3D 人體重建。模型通過引入人體側視圖作為先驗條件,并結合擴散模型進行紋理增強,在幾何與紋理重建測試中均達到 SOTA,并且在真實世界中具有多種應用場景。vR528資訊網——每日最新資訊28at.com

在 AR、VR、3D 打印、場景搭建以及電影制作等多個領域中,高質量的穿著衣服的人體 3D 模型非常重要。vR528資訊網——每日最新資訊28at.com

傳統的方法創建這些模型不僅需要大量時間,還需要能夠捕捉多視角照片的專業設備,此外還依賴于技術熟練的專業人員。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

▲SIFU 重建 3D 人體模型用于場景搭建

與此相反,在日常生活中,我們最常見的是通過手機相機拍攝的或在各種網頁上找到的人像照片。vR528資訊網——每日最新資訊28at.com

因此,一種能從單張圖像準確重建 3D 人體模型的方法可以顯著降低成本,并簡化獨立創作的過程。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

▲以往方法(左)與本文方法技術路線比較(右)

以往的深度學習模型用于 3D 人體重建,往往需要經過三個步驟:從圖像中提取 2D 特征,將 2D 特征轉到 3D 空間,以及 3D 特征用于人體重建。vR528資訊網——每日最新資訊28at.com

然而這些方法在 2D 特征轉換到 3D 空間的階段,往往忽略了人體先驗的引入,導致特征的提取不夠充分,最終重建結果上會出現各種缺陷。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

▲SIFU 與其他 SOTA 模型重建效果比較

此外,在對紋理預測的階段,以往模型僅僅依靠訓練集中學得的知識,缺少真實世界的先驗知識,也往往導致不可見區域的紋理預測較差。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

▲SIFU 在紋理預測階段引入先驗知識,增強不可見區域(背部等)的紋理效果。

對此,來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,依靠側視圖條件隱函數從單張圖片重建 3D 人體模型。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/ abs / 2312.06704vR528資訊網——每日最新資訊28at.com

項目地址:https://github.com/ River-Zhang / SIFUvR528資訊網——每日最新資訊28at.com

該模型通過在 2D 特征轉換到 3D 空間引入人體側視圖作為先驗條件,增強幾何重建效果。并在紋理優化階段引入預訓練的擴散模型,來解決不可見區域紋理較差的問題。vR528資訊網——每日最新資訊28at.com

模型結構

模型 pipeline 如下:vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

該模型運行可分為兩個階段,第一階段借助側隱式函數重建人體的幾何(mesh)與粗糙的紋理(coarse texture),第二階段則借助預訓練的擴散模型對紋理進行精細化。vR528資訊網——每日最新資訊28at.com

在第一階段中,作者設計了一種獨特的 Side-view Decoupling Transformer,通過 global encoder 提取 2D 特征后,在 decoder 中引入了人體先驗模型 SMPL-X 的側視圖作為 query,從而在圖像 2D 特征中解耦出人體不同方向的 3D 特征(前后左右),最后用于重建。vR528資訊網——每日最新資訊28at.com

該方法成功的在 2D 特征轉換到 3D 空間時結合人體先驗知識,從而使得模型有更好的重建效果。vR528資訊網——每日最新資訊28at.com

在第二階段,作者提出一種 3D 一致性紋理優化流程(3D Consistent Texture Refinement),首先將人體不可見的區域(側面、背面)可微渲染成視角連續的圖片集,再借助在海量數據中學習到先驗知識的擴散模型,對粗糙紋理圖片進行一致性編輯,得到更精細的結果。最后通過精細化前后的圖片計算損失來優化 3D 模型的紋理貼圖。vR528資訊網——每日最新資訊28at.com

實驗部分

更高的重建精度vR528資訊網——每日最新資訊28at.com

在實驗部分,作者使用全面多樣化的測試集對他們的模型進行測試,包括 CAPE-NFP、CAPE-FP 和 THuman2.0,并與以往發表在各大頂會的單張圖片人體重建 SOTA 模型進行比較。經定量測試,SIFU 模型在幾何重建與紋理重建中均表現出了最好的效果。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

定量評估幾何重建精度vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

定量評估紋理重建效果vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

使用互聯網中公開圖片作為輸入進行定性效果展示vR528資訊網——每日最新資訊28at.com

更強的魯棒性vR528資訊網——每日最新資訊28at.com

以往的模型應用訓練集以外的數據時,由于估計的人體先驗模型 SMPL / SMPL-X 不夠準確,往往導致重建結果與輸入圖片相差甚遠,難以投入實際應用。vR528資訊網——每日最新資訊28at.com

對此,作者專門對模型的魯棒性進行了測試,通過在 ground truth 先驗模型參數中加入擾動使其位姿發生偏移,模擬真實場景中 SMPL-X 估計不準確的情況,來評估模型重建的精度。結果表明 SIFU 模型在該情況下,依然具有最好的重建精度。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

評估模型面對有誤差的人體先驗模型時的魯棒性vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

使用真實世界中的圖片,在先驗人體模型估計不準確的情況下,SIFU 依然有較好的重建效果vR528資訊網——每日最新資訊28at.com

更廣闊的應用場景vR528資訊網——每日最新資訊28at.com

SIFU 模型的高精度高質量重建效果,使得其具有豐富的應用場景,包括 3D 打印、場景搭建、紋理編輯等。vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

3D 打印 SIFU 重建的人體模型vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

SIFU 借助擴散模型進行紋理編輯vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

SIFU 用于 3D 場景搭建vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

更多定性測試結果(測試輸入圖片均來自互聯網)vR528資訊網——每日最新資訊28at.com

vR528資訊網——每日最新資訊28at.com

借助公開動作序列數據,可對 SIFU 重建的模型進行驅動vR528資訊網——每日最新資訊28at.com

總結

本文提出側視圖條件隱式函數和 3D 一致性紋理編輯方法,彌補了以往工作在 2D 特征轉換到 3D 空間、紋理預測時對先驗知識引入的不足,極大地提高了單張圖片人體重建的精度和效果,使模型在真實世界應用中具有顯著的優勢,也為該領域未來的研究提供了新的思路。vR528資訊網——每日最新資訊28at.com

參考資料:vR528資訊網——每日最新資訊28at.com

https://arxiv.org/abs/2312.06704vR528資訊網——每日最新資訊28at.com

本文來自微信公眾號:新智元 (ID:AI_era)vR528資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-3256-0.html幾何紋理重建新 SOTA!浙大提出 SIFU:單圖即可重建高質量 3D 人體模型

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 微軟推出獨立 AI 工具“閱讀教練”,輔助提高學習者閱讀能力

下一篇: TikTok 內測 AI 生成歌曲功能:用戶只需輸入歌詞文本,可自選曲風

標簽:
  • 熱門焦點
  • FMIFAwards獎項即將揭曉!

    來源:X增強現實FMIF Awards未來元宇宙創新獎是由未來元宇宙創新論壇、ARinChina以及多家投資機構、媒體、研究院聯合發起的一項評選活動。旨在推動新技術的融合與集成低成本
  • 這場虛擬人爭奪戰,互聯網巨頭下場先贏一半?

    撰文/ 孟會緣 近兩年間,要論引得無數互聯網巨頭競折腰的一大熱門產業,莫過于元宇宙領域中的數字人了。 作為繼數字藏品之后,開發元宇宙的又一重點落地項目,互聯網
  • 挖來Meta AR高管,難道蘋果也要進軍元宇宙?

    “被曝光”的才是最吸引人的產品,相信有關注過蘋果硬件消息的朋友們都明白這樣的道理。往近了說有蘋果“即將發布”的iPhone SE 3和M2芯片,往遠了說有“折疊屏iP
  • 萬字專訪Vitalik Buterin:以太坊將成為主流和最安全的基礎層

    Vitalik Buterin 在 19 歲時撰寫了以太坊白皮書。他的目標簡單而全面,即創建一個“世界計算機”,旨在成為所有在線應用程序的靈活基礎層,無需任何第三方。自 2015
  • Web3 去中心化身份管理系統的歷史、現狀與展望

    身份、數字資產和在線資料的映射最近在區塊鏈行業獲得了極大的關注。新技術正在形成架構,這將進一步為去中心化和以用戶為中心的機制鋪平道路。本文將討論以下
  • 韓國建立元宇宙生態系統,智度股份發布元宇宙社區Meta彼岸

    財聯社|區塊鏈日報28日訊 今日《元宇宙新鮮事》有:杭州第十三次黨代會報告指出抓緊布局元宇宙等未來產業;韓國科學信息通信技術部宣布投資1.85億美元建立元宇宙
  • 2022年去中心化交易所會崛起嗎?

    “在某個時候,去中心化衍生品的交易量可能會超過去中心化現貨交易所。”DEX 越來越多地轉向第二層解決方案。“數字化金融市場的概念以及如何沿著以用戶為中心
  • 費城藝術家使用區塊鏈,在數字藝術中狠狠撈一筆

    ?你也想賺錢發財走上人生巔峰嗎?老雅痞給你指條路,現在也許是時候創建或購買或出售 NFT的好時機。費城地區的許多企業家都在這樣做。但投資需謹慎,入行有風險,在
  • Meta 在衰落嗎?

    扎克伯格已經很久沒有出現在公眾視野里了,近日,他罕見的接受播客采訪,在兩個小時的時間里暢談了Meta、Facebook、Instagram、元宇宙的未來。正方觀點:是的阿倫·達
Top 主站蜘蛛池模板: 疏勒县| 友谊县| 凤城市| 石家庄市| 博野县| 大埔县| 开江县| 察哈| 凤凰县| 齐河县| 晋城| 图木舒克市| 乐安县| 西安市| 新蔡县| 都安| 工布江达县| 台前县| 滦平县| 镇坪县| 论坛| 洞头县| 建始县| 惠来县| 同德县| 图片| 大理市| 鹿泉市| 巫山县| 罗平县| 双流县| 烟台市| 珠海市| 祁门县| 抚顺市| 海原县| 友谊县| 鹤山市| 云霄县| 沙雅县| 抚顺县|