12 月 29 日消息,在虛擬現實和 3D 建模過程中,如何利用有限的數據源(例如單視角的多段視頻),構建動態、高保真數字人體模型存在諸多挑戰。
傳統方法主要依賴大量訓練數據和復雜的神經網絡架構,需要平衡詳細且準確的數字模型和實時應用程序所需的計算效率,因此在渲染速度和模型保真度方面會有所犧牲。
浙江大學 ReLER 實驗室攜手CCAI,為了應對這些調整,開發突破性框架--Human101,可以顯著提高虛擬現實應用程序中的訓練和渲染速度。
這種創新方法在確保生成模型的高保真度情況下,快速高效地重建 3D 數字人體模型。
Human101 的核心在于集成了 3D 高斯散射和先進的動畫技術,有助于高效處理單視角視頻數據,生成動態的 3D 人體模型。
Human101 利用了一種新穎的、以人類為中心的前向高斯動畫方法,避免了對目標姿勢點的相應規范點的窮舉搜索,直接將規范點變形到觀察空間,簡化了變形過程并提高了渲染速度。
此外 Human101 還采用規范人類初始化方法,更有效地初始化原始高斯分布,極大地加快了模型的收斂速度。
從測試結果來看,訓練 3D 高斯體可以在 100 秒內完成,相比較現有方法,大幅縮短了時間。
此外,渲染速度超過 100 FPS,這一重大改進為實時交互式應用程序和沉浸式虛擬現實體驗開辟了新的可能性,這種效率并未以質量為代價;該框架設法保持甚至在許多情況下超過了當前方法的視覺保真度。
附上論文參考地址:https://arxiv.org/abs/2312.15258
本文鏈接:http://www.www897cc.com/showinfo-45-3123-0.html渲染速度超 100 FPS,浙大研發突破性框架 Human101:利用單視角視頻構建數字人體模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com