6 月 18 日消息,據(jù)谷歌DeepMind新聞稿,DeepMind 近日公布了一項(xiàng)利用AI為無聲視頻生成背景音樂的“video-to-audio”技術(shù)。
獲悉,當(dāng)前 DeepMind 這款A(yù)I模型依然存在局限性,需要開發(fā)者使用提示詞為模型預(yù)先“介紹”視頻可能的聲音,暫時(shí)不能直接根據(jù)視頻畫面添加具體音效。
據(jù)悉,該模型首先會(huì)將用戶輸入的視頻進(jìn)行拆解,此后結(jié)合用戶的用戶文字提示,利用擴(kuò)散模型反復(fù)運(yùn)算,最終以生成與視頻畫面協(xié)調(diào)的背景聲音,例如輸入一條“在黑暗中行走”的無聲視頻,再添加“電影、恐怖片、音樂、緊張、混凝土上的腳步聲”等文字提示,相關(guān)模型就能生成恐怖風(fēng)格的背景音效。
DeepMind同時(shí)表示,該“video-to-audio”模型可以為任何視頻生成無限數(shù)量的音軌,還能夠通過提示詞內(nèi)容判斷生成的音頻“正向性”或“反向性”,從而令生成的聲音更貼近某些特定場(chǎng)景。
展望未來,DeepMind表示研究人員正進(jìn)一步優(yōu)化這款“video-to-audio”模型,計(jì)劃未來能夠讓模型直接根據(jù)視頻內(nèi)容,無須通過提示詞即可生成視頻背景音,同時(shí)還將改善視頻中人物對(duì)白的口型同步能力。
本文鏈接:http://www.www897cc.com/showinfo-45-4701-0.html谷歌 DeepMind 新研究:利用 AI 模型為無聲視頻配音
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 風(fēng)清、風(fēng)雷、風(fēng)順,中國氣象局發(fā)布三個(gè) AI 氣象大模型系統(tǒng)