11 月 17 日消息，來自新加坡南洋理工大學(xué)（NTU Singapore）的科研團(tuán)隊(duì)近日開發(fā)出了 DIRFA 工具，用戶給一張圖片以及音頻內(nèi)容，可以自動(dòng)生成 3D 視頻，并實(shí)現(xiàn)口型和聲音的同步協(xié)調(diào)。2cx28資訊網(wǎng)——每日最新資訊28at.com

2cx28資訊網(wǎng)——每日最新資訊28at.com

DIRFA 的全稱為 DIverse yet Realistic Facial Animations，訓(xùn)練了超過 6000 多人的 100 萬個(gè)視頻片段，音頻片段來自一個(gè)名為 VoxCeleb2 數(shù)據(jù)集的開源數(shù)據(jù)庫(kù)，并關(guān)聯(lián)面部表情和頭部運(yùn)動(dòng)。2cx28資訊網(wǎng)——每日最新資訊28at.com

2cx28資訊網(wǎng)——每日最新資訊28at.com

研究人員表示，DIRFA 可能會(huì)在包括醫(yī)療保健在內(nèi)的各個(gè)行業(yè)和領(lǐng)域帶來新的應(yīng)用，因?yàn)樗梢詫?shí)現(xiàn)更復(fù)雜和逼真的虛擬助手和聊天機(jī)器人，從而改善用戶體驗(yàn)。2cx28資訊網(wǎng)——每日最新資訊28at.com

DIRFA 還可以作為言語或面部殘疾人士的強(qiáng)大工具，幫助他們通過富有表現(xiàn)力的頭像或數(shù)字表示來傳達(dá)他們的想法和情感，從而增強(qiáng)他們的溝通能力。2cx28資訊網(wǎng)——每日最新資訊28at.com

附上論文參考地址：Rongliang Wu, Yingchen Yu, Fangneng Zhan, Jiahui Zhang, Xiaoqin Zhang, Shijian Lu.Audio-driven talking face generation with diverse yet realistic facial animations.Pattern Recognition, 2023; 144: 109865 DOI:10.1016/j.patcog.2023.1098652cx28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-2607-0.html科學(xué)家開發(fā) DIRFA：輸入圖片和音頻，可生成說話視頻

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 27 億參數(shù)，微軟發(fā)布 Phi-2 模型：某些性能指標(biāo)優(yōu)于 Llama-2-7B

下一篇： 谷歌將“水印”嵌入人工智能生成的音樂中，人耳無法察覺