日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

幾何紋理重建新 SOTA!浙大提出 SIFU:單圖即可重建高質量 3D 人體模型

來源: 責編: 時間:2024-01-23 08:42:22 293觀看
導讀 【新智元導讀】最近來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,一種側視圖條件隱函數模型用于單張圖片 3D 人體重建。模型通過引入人體側視圖作為先驗條件,并結合擴散模型進行紋理增強,在幾何與紋理重

【新智元導讀】最近來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,一種側視圖條件隱函數模型用于單張圖片 3D 人體重建。模型通過引入人體側視圖作為先驗條件,并結合擴散模型進行紋理增強,在幾何與紋理重建測試中均達到 SOTA,并且在真實世界中具有多種應用場景。kBT28資訊網——每日最新資訊28at.com

在 AR、VR、3D 打印、場景搭建以及電影制作等多個領域中,高質量的穿著衣服的人體 3D 模型非常重要。kBT28資訊網——每日最新資訊28at.com

傳統的方法創建這些模型不僅需要大量時間,還需要能夠捕捉多視角照片的專業設備,此外還依賴于技術熟練的專業人員。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

▲SIFU 重建 3D 人體模型用于場景搭建

與此相反,在日常生活中,我們最常見的是通過手機相機拍攝的或在各種網頁上找到的人像照片。kBT28資訊網——每日最新資訊28at.com

因此,一種能從單張圖像準確重建 3D 人體模型的方法可以顯著降低成本,并簡化獨立創作的過程。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

▲以往方法(左)與本文方法技術路線比較(右)

以往的深度學習模型用于 3D 人體重建,往往需要經過三個步驟:從圖像中提取 2D 特征,將 2D 特征轉到 3D 空間,以及 3D 特征用于人體重建。kBT28資訊網——每日最新資訊28at.com

然而這些方法在 2D 特征轉換到 3D 空間的階段,往往忽略了人體先驗的引入,導致特征的提取不夠充分,最終重建結果上會出現各種缺陷。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

▲SIFU 與其他 SOTA 模型重建效果比較

此外,在對紋理預測的階段,以往模型僅僅依靠訓練集中學得的知識,缺少真實世界的先驗知識,也往往導致不可見區域的紋理預測較差。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

▲SIFU 在紋理預測階段引入先驗知識,增強不可見區域(背部等)的紋理效果。

對此,來自浙江大學 ReLER 實驗室的研究人員提出 SIFU 模型,依靠側視圖條件隱函數從單張圖片重建 3D 人體模型。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/ abs / 2312.06704kBT28資訊網——每日最新資訊28at.com

項目地址:https://github.com/ River-Zhang / SIFUkBT28資訊網——每日最新資訊28at.com

該模型通過在 2D 特征轉換到 3D 空間引入人體側視圖作為先驗條件,增強幾何重建效果。并在紋理優化階段引入預訓練的擴散模型,來解決不可見區域紋理較差的問題。kBT28資訊網——每日最新資訊28at.com

模型結構

模型 pipeline 如下:kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

該模型運行可分為兩個階段,第一階段借助側隱式函數重建人體的幾何(mesh)與粗糙的紋理(coarse texture),第二階段則借助預訓練的擴散模型對紋理進行精細化。kBT28資訊網——每日最新資訊28at.com

在第一階段中,作者設計了一種獨特的 Side-view Decoupling Transformer,通過 global encoder 提取 2D 特征后,在 decoder 中引入了人體先驗模型 SMPL-X 的側視圖作為 query,從而在圖像 2D 特征中解耦出人體不同方向的 3D 特征(前后左右),最后用于重建。kBT28資訊網——每日最新資訊28at.com

該方法成功的在 2D 特征轉換到 3D 空間時結合人體先驗知識,從而使得模型有更好的重建效果。kBT28資訊網——每日最新資訊28at.com

在第二階段,作者提出一種 3D 一致性紋理優化流程(3D Consistent Texture Refinement),首先將人體不可見的區域(側面、背面)可微渲染成視角連續的圖片集,再借助在海量數據中學習到先驗知識的擴散模型,對粗糙紋理圖片進行一致性編輯,得到更精細的結果。最后通過精細化前后的圖片計算損失來優化 3D 模型的紋理貼圖。kBT28資訊網——每日最新資訊28at.com

實驗部分

更高的重建精度kBT28資訊網——每日最新資訊28at.com

在實驗部分,作者使用全面多樣化的測試集對他們的模型進行測試,包括 CAPE-NFP、CAPE-FP 和 THuman2.0,并與以往發表在各大頂會的單張圖片人體重建 SOTA 模型進行比較。經定量測試,SIFU 模型在幾何重建與紋理重建中均表現出了最好的效果。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

定量評估幾何重建精度kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

定量評估紋理重建效果kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

使用互聯網中公開圖片作為輸入進行定性效果展示kBT28資訊網——每日最新資訊28at.com

更強的魯棒性kBT28資訊網——每日最新資訊28at.com

以往的模型應用訓練集以外的數據時,由于估計的人體先驗模型 SMPL / SMPL-X 不夠準確,往往導致重建結果與輸入圖片相差甚遠,難以投入實際應用。kBT28資訊網——每日最新資訊28at.com

對此,作者專門對模型的魯棒性進行了測試,通過在 ground truth 先驗模型參數中加入擾動使其位姿發生偏移,模擬真實場景中 SMPL-X 估計不準確的情況,來評估模型重建的精度。結果表明 SIFU 模型在該情況下,依然具有最好的重建精度。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

評估模型面對有誤差的人體先驗模型時的魯棒性kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

使用真實世界中的圖片,在先驗人體模型估計不準確的情況下,SIFU 依然有較好的重建效果kBT28資訊網——每日最新資訊28at.com

更廣闊的應用場景kBT28資訊網——每日最新資訊28at.com

SIFU 模型的高精度高質量重建效果,使得其具有豐富的應用場景,包括 3D 打印、場景搭建、紋理編輯等。kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

3D 打印 SIFU 重建的人體模型kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

SIFU 借助擴散模型進行紋理編輯kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

SIFU 用于 3D 場景搭建kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

更多定性測試結果(測試輸入圖片均來自互聯網)kBT28資訊網——每日最新資訊28at.com

kBT28資訊網——每日最新資訊28at.com

借助公開動作序列數據,可對 SIFU 重建的模型進行驅動kBT28資訊網——每日最新資訊28at.com

總結

本文提出側視圖條件隱式函數和 3D 一致性紋理編輯方法,彌補了以往工作在 2D 特征轉換到 3D 空間、紋理預測時對先驗知識引入的不足,極大地提高了單張圖片人體重建的精度和效果,使模型在真實世界應用中具有顯著的優勢,也為該領域未來的研究提供了新的思路。kBT28資訊網——每日最新資訊28at.com

參考資料:kBT28資訊網——每日最新資訊28at.com

https://arxiv.org/abs/2312.06704kBT28資訊網——每日最新資訊28at.com

本文來自微信公眾號:新智元 (ID:AI_era)kBT28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-3256-0.html幾何紋理重建新 SOTA!浙大提出 SIFU:單圖即可重建高質量 3D 人體模型

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 微軟推出獨立 AI 工具“閱讀教練”,輔助提高學習者閱讀能力

下一篇: TikTok 內測 AI 生成歌曲功能:用戶只需輸入歌詞文本,可自選曲風

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 巴南区| 大渡口区| 明水县| 连城县| 西乌珠穆沁旗| 大英县| 安多县| 锡林浩特市| 和林格尔县| 商都县| 香港 | 宝清县| 麻江县| 海兴县| 水城县| 宁安市| 红河县| 上杭县| 武胜县| 宁武县| 南阳市| 汉沽区| 桦南县| 乌兰浩特市| 鄂伦春自治旗| 沙坪坝区| 临夏县| 房产| 唐海县| 九台市| 安吉县| 大安市| 河间市| 吕梁市| 威信县| 黄梅县| 丹阳市| 环江| 宁津县| 黄冈市| 安新县|