日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

一張照片、一段聲音秒生超逼真視頻!南大等提出全新框架,口型動作精準還原

來源: 責編: 時間:2023-12-18 17:35:12 284觀看
導讀 新智元報道編輯:潤 好困【新智元導讀】最近,來自南大等機構的研究人員開發了一個通用的框架,用一段音頻就能讓照片上的頭像講多國語言。不論是頭部動作還是嘴型都非常自然,看到很多不錯的一段音頻 + 一張照片,瞬間

7S428資訊網——每日最新資訊28at.com

新智元報道7S428資訊網——每日最新資訊28at.com

編輯:潤 好困7S428資訊網——每日最新資訊28at.com

【新智元導讀】最近,來自南大等機構的研究人員開發了一個通用的框架,用一段音頻就能讓照片上的頭像講多國語言。不論是頭部動作還是嘴型都非常自然,看到很多不錯的7S428資訊網——每日最新資訊28at.com

一段音頻 + 一張照片,瞬間照片里的人就能開始講話了。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

生成的講話動畫不但口型和音頻能夠無縫對齊,面部表情和頭部姿勢都非常自然而且有表現力。7S428資訊網——每日最新資訊28at.com

而且支持的圖像風格也非常的多樣,除了一般的照片,卡通圖片,證件照等生成的效果都非常自然。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

再加上多語言的支持,瞬間照片里的人物就活了過來,張嘴就能飆外語。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

這是由來自南京大學等機構的研究人員提出的一個通用框架 ——VividTalk,只需要語音和一張圖片,就能生成高質量的說話視頻。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/ abs / 2312.01841

這個框架是一個由音頻到網格生成,和網格到視頻生成組成的兩階段框架。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

在第一階段,考慮面部運動和 blendshape 分布之間的一對多映射,利用 blendshape 和 3D 頂點作為中間表征,其中 blendshape 提供粗略運動,頂點偏移描述細粒度嘴唇運動。7S428資訊網——每日最新資訊28at.com

此外,還采用了基于多分支 Transformer 網絡,以充分利用音頻上下文來建模與中間表征的關系。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

為了更合理地從音頻中學習剛性頭部運動,研究人員將此問題轉化為離散有限空間中的代碼查詢任務,并構建具有重建和映射機制的可學習頭部姿勢代碼本。7S428資訊網——每日最新資訊28at.com

之后,學習到的兩個運動都應用于參考標識,從而產生驅動網格。7S428資訊網——每日最新資訊28at.com

在第二階段,基于驅動網格和參考圖像,渲染內表面和外表面(例如軀干)的投影紋理,從而全面建模運動。7S428資訊網——每日最新資訊28at.com

然后設計一種新穎的雙分支運動模型來模擬密集運動,將其作為輸入發送到生成器,以逐幀方式合成最終視頻。7S428資訊網——每日最新資訊28at.com

VividTalk 可以生成具有表情豐富的面部表情和自然頭部姿勢的口型同步頭部說話視頻。7S428資訊網——每日最新資訊28at.com

如下表所示,視覺結果和定量分析都證明了新方法在生成質量和模型泛化方面的優越性。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

框架實現方法

給定音頻序列和參考面部圖像作為輸入,新方法可以生成具有不同面部表情和自然頭部姿勢的頭部說話視頻。7S428資訊網——每日最新資訊28at.com

VividTalk 框架由兩個階段組成,分別稱為音頻到網格生成和網格到視頻生成。7S428資訊網——每日最新資訊28at.com

音頻到網格生成

這一階段的目標是根據輸入音頻序列和參考面部圖像生成 3D 驅動的網格。7S428資訊網——每日最新資訊28at.com

具體來說,首先利用 FaceVerse 來重建參考面部圖像。7S428資訊網——每日最新資訊28at.com

接下來,從音頻中學習非剛性面部表情運動和剛性頭部運動來驅動重建的網格。7S428資訊網——每日最新資訊28at.com

為此,研究人員提出了多分支 BlendShape 和頂點偏移生成器以及可學習的頭部姿勢代碼本。7S428資訊網——每日最新資訊28at.com

BlendShape 和頂點偏移生成器7S428資訊網——每日最新資訊28at.com

學習通用模型來生成準確的嘴部動作和具有特定人風格的富有表現力的面部表情在兩個方面具有挑戰性:7S428資訊網——每日最新資訊28at.com

1)第一個挑戰是音頻運動相關性問題。由于音頻信號與嘴部運動最相關,因此很難根據音頻對非嘴部運動進行建模。7S428資訊網——每日最新資訊28at.com

2)從音頻到面部表情動作的映射自然具有一對多的屬性,這意味著相同的音頻輸入可能有不止一種正確的動作模式,從而導致沒有個人特征的面部形象。7S428資訊網——每日最新資訊28at.com

為了解決音頻運動相關性問題,研究人員使用 blendshape 和頂點偏移作為中間表征,其中 blendshape 提供全局粗粒度的面部表情運動,而與嘴唇相關的頂點偏移提供局部細粒度的嘴唇運動。7S428資訊網——每日最新資訊28at.com

對于缺乏面部特征的問題,研究人員提出了一種基于多分支 transformer 的生成器來單獨建模每個部分的運動,并注入特定于主題的風格以保持個人特征。7S428資訊網——每日最新資訊28at.com

可學習的頭部姿勢密碼本7S428資訊網——每日最新資訊28at.com

頭部姿勢是影響頭部說話視頻真實感的另一個重要因素。然而,直接從音頻中學習它并不容易,因為它們之間的關系很弱,這會導致不合理和不連續的結果。7S428資訊網——每日最新資訊28at.com

受到之前研究的啟發,利用離散碼本作為先驗,即使在輸入降級的情況下也能保證高保真生成。7S428資訊網——每日最新資訊28at.com

研究人員建議將此問題轉化為離散且有限頭部姿勢空間中的代碼查詢任務,并精心設計了兩階段訓練機制,第一階段構建豐富的頭部姿勢代碼本,第二階段將輸入音頻映射到碼本生成最終結果,如下圖所示。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

網格到視頻生成

如下圖所示,研究人員提出了雙分支 motionvae 來對 2D 密集運動進行建模,該運動將作為生成器的輸入來合成最終視頻。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

將 3D 域運動直接轉換為 2D 域運動既困難又低效,因為網絡需要尋找兩個域運動之間的對應關系以更好地建模。7S428資訊網——每日最新資訊28at.com

為了提高網絡的性能并獲得進一步的性能,研究人員借助投影紋理表示在 2D 域中進行這種轉換。7S428資訊網——每日最新資訊28at.com

如上圖所示,在面部分支中,參考投影紋理 P T 和驅動的投影紋理 P Tare 連接并饋入編碼器,然后輸入 MLP,輸出 2D 面部運動圖。7S428資訊網——每日最新資訊28at.com

為了進一步增強嘴唇運動并更準確地建模,研究人員還選擇與嘴唇相關的標志并將其轉換為高斯圖,這是一種更緊湊、更有效的表示。7S428資訊網——每日最新資訊28at.com

然后,沙漏網絡將減去的高斯圖作為輸入并輸出 2D 嘴唇運動,該運動將與面部運動連接并解碼為密集運動和遮擋圖。7S428資訊網——每日最新資訊28at.com

最后,研究人員根據之前預測的密集運動圖對參考圖像進行變形,獲得變形圖像,該變形圖像將與遮擋圖一起作為生成器的輸入,逐幀合成最終視頻。7S428資訊網——每日最新資訊28at.com

實驗效果

數據集7S428資訊網——每日最新資訊28at.com

HDTF 是一個高分辨率視聽數據集,包含 346 個主題的超過 16 小時的視頻。VoxCeleb 是另一個更大的數據集,涉及超過 10 萬個視頻和 1000 個身份。7S428資訊網——每日最新資訊28at.com

研究人員首先過濾兩個數據集以刪除無效數據,例如音頻和視頻不同步的數據。7S428資訊網——每日最新資訊28at.com

然后裁剪視頻中的人臉區域并將其大小調整為 256×256。7S428資訊網——每日最新資訊28at.com

最后,將處理后的視頻分為 80%、10%、10%,這將用于用于培訓、驗證和測試。7S428資訊網——每日最新資訊28at.com

實施細節7S428資訊網——每日最新資訊28at.com

在實驗中,研究人員使用 FaceVerse 這種最先進的單圖像重建方法來恢復視頻并獲得用于監督的地面實況混合形狀和網格。7S428資訊網——每日最新資訊28at.com

在訓練過程中,Audio-To-Mesh 階段和 Mesh-To-Video 階段是分開訓練的。7S428資訊網——每日最新資訊28at.com

具體來說,音頻到網格階段的 BlendShape 和頂點偏移生成器以及可學習頭部姿勢代碼本也分別進行訓練。7S428資訊網——每日最新資訊28at.com

在推理過程中,研究人員的模型可以通過級聯上述兩個階段以端到端的方式工作。7S428資訊網——每日最新資訊28at.com

對于優化,使用 Adam 優化器,兩個階段的學習率分別為 1×10 和 1×10。在 8 個 NVIDIA V100 GPU 上的總訓練時間為 2 天。7S428資訊網——每日最新資訊28at.com

與 SOTA 的比較

7S428資訊網——每日最新資訊28at.com

可以看到,研究人員提出的方法可以生成高質量的頭部說話視頻,具有精確的唇形同步和富有表現力的面部運動。7S428資訊網——每日最新資訊28at.com

相比之下:7S428資訊網——每日最新資訊28at.com

SadTalker 無法生成準確的細粒度嘴唇運動,并且視頻質量更低。7S428資訊網——每日最新資訊28at.com

TalkLip 產生模糊結果,并將膚色風格改為略黃,在一定程度上丟失了身份信息。7S428資訊網——每日最新資訊28at.com

MakeItTalk 無法生成準確的嘴形,尤其是在跨身份配音設置中。7S428資訊網——每日最新資訊28at.com

Wav2Lip 傾向于合成模糊的嘴部區域,并在輸入單個參考圖像時輸出具有靜態頭部姿勢和眼球運動的視頻。7S428資訊網——每日最新資訊28at.com

PC-AVS 需要驅動視頻作為輸入,并努力保存身份。7S428資訊網——每日最新資訊28at.com

定量比較7S428資訊網——每日最新資訊28at.com

如下表所示,新方法在圖像質量和身份保留方面表現更好,這通過較低的 FID 和較高的 CSIM 指標反映出來。7S428資訊網——每日最新資訊28at.com

7S428資訊網——每日最新資訊28at.com

由于新穎的可學習密碼本機制,新方法生成的頭部姿勢也更加多樣化和自然。7S428資訊網——每日最新資訊28at.com

雖然新方法的 SyncNet 分數低于 Wav2Lip,但可以驅動使用單個音頻而不是視頻的參考圖像并生成更高質量的幀。7S428資訊網——每日最新資訊28at.com

參考資料:7S428資訊網——每日最新資訊28at.com

https://humanaigc.github.io/vivid-talk/7S428資訊網——每日最新資訊28at.com

本文來自微信公眾號:新智元 (ID:AI_era)7S428資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-2938-0.html一張照片、一段聲音秒生超逼真視頻!南大等提出全新框架,口型動作精準還原

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 深圳芯聚能科技發布全球首款64核心筆記本:云怪REV-9震撼登場

下一篇: 北京互聯網法院公開審理全國首例“AI 聲音侵權案”

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 宽甸| 桃源县| 西乌| 新疆| 长岭县| 团风县| 三台县| 沙雅县| 澄城县| 湛江市| 和静县| 阳城县| 本溪市| 昌图县| 宕昌县| 丰都县| 旌德县| 南宫市| 阳江市| 霍州市| 清镇市| 涡阳县| 乌鲁木齐市| 文安县| 洪江市| 林芝县| 霸州市| 浙江省| 大关县| 德清县| 遂宁市| 铅山县| 札达县| 灌阳县| 平度市| 板桥市| 黎平县| 阳谷县| 瑞昌市| 涞源县| 泸水县|