阿里通義實驗室近日在其官方公眾號上宣布了一項重要進展：其首個音頻生成模型ThinkSound已正式對外開放源代碼，這一創(chuàng)新有望顛覆以往“靜默畫面”的創(chuàng)作邊界。NFq28資訊網(wǎng)——每日最新資訊28at.com

ThinkSound在音頻生成領(lǐng)域首次引入了CoT（思維鏈）技術(shù)，使AI能夠邏輯清晰地理解畫面事件與聲音之間的關(guān)聯(lián)，從而生成高保真、高度同步的空間音頻。這不僅僅是“為圖配音”，而是讓AI真正“理解畫面并配音”。NFq28資訊網(wǎng)——每日最新資訊28at.com

為了訓(xùn)練出能夠“邏輯聆聽”的AI，通義實驗室的語音團隊精心打造了AudioCoT數(shù)據(jù)集，這是首個支持鏈式推理的多模態(tài)音頻數(shù)據(jù)集。AudioCoT匯集了來自VGGSound、AudioSet、AudioCaps、Freesound等多個平臺的2531.8小時高質(zhì)量音頻樣本，涵蓋了從動物叫聲到機械運轉(zhuǎn)、環(huán)境音效等多種真實場景，為模型提供了廣泛的訓(xùn)練素材。NFq28資訊網(wǎng)——每日最新資訊28at.com

為了確保數(shù)據(jù)集的質(zhì)量，研究團隊實施了一套嚴格的數(shù)據(jù)篩選流程，包括多階段的自動化質(zhì)量檢查和至少5%的人工抽樣驗證，以確保每一條數(shù)據(jù)都能有效支持AI的結(jié)構(gòu)化推理能力。AudioCoT還設(shè)計了面向交互式編輯的對象級和指令級樣本，以滿足ThinkSound在后續(xù)細化與編輯功能上的需求。NFq28資訊網(wǎng)——每日最新資訊28at.com

ThinkSound由兩大核心組件構(gòu)成：一個是擅長“思考”的多模態(tài)大語言模型（MLLM），另一個是專注于“聽覺輸出”的統(tǒng)一音頻生成模型。這兩個模塊的協(xié)同工作，使得系統(tǒng)能夠分階段解析畫面內(nèi)容，并最終生成與畫面精確匹配的音頻效果。這一過程包括理解整體畫面、聚焦具體物體以及響應(yīng)用戶指令三個階段。NFq28資訊網(wǎng)——每日最新資訊28at.com

據(jù)官方介紹，盡管近年來端到端視頻到音頻（V2A）生成技術(shù)取得了長足進步，但在捕捉畫面動態(tài)細節(jié)和空間關(guān)系方面仍存在挑戰(zhàn)。例如，貓頭鷹何時鳴叫、何時起飛，以及樹枝晃動時是否伴隨摩擦聲等視覺與聲學(xué)之間的關(guān)聯(lián)，往往被忽視，導(dǎo)致生成的音頻過于泛化，甚至與關(guān)鍵視覺事件不匹配，無法滿足專業(yè)創(chuàng)意場景中對時序和語義連貫性的高要求。NFq28資訊網(wǎng)——每日最新資訊28at.com

這一問題的核心在于，AI缺乏對畫面事件的結(jié)構(gòu)化理解，無法像人類音效師那樣逐步分析、推理并合成聲音。而ThinkSound的推出，正是為了解決這一難題，推動音頻生成技術(shù)邁向新的高度。NFq28資訊網(wǎng)——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊隈研吾上海商業(yè)新地標開業(yè)：探索“光之漣漪”的藝術(shù)魅力07-05水電光伏大比拼：扎拉電站展現(xiàn)碳中和時代能源新格局07-05小米YU7磁吸紙巾盒熱銷，雷軍解釋高價原因，網(wǎng)友熱議后仍搶購一空有網(wǎng)友表示：“甭管是100多、200多、300多……只要對應(yīng)品牌的車主們不嫌貴，那這個定價就是合理的，再說了，真嫌貴你不買不就完了，搞不明白這玩意有啥好掰扯的？” 博主韓路還親自曬單了表示：“磁吸紙巾盒買了…07-05Jeep侏羅紀世界探索版震撼發(fā)布，硬核越野邂逅史前冒險，40.39萬元起售07-05Jeep侏羅紀世界探索版震撼發(fā)布，硬核越野邂逅史前冒險精神07-05小紅書內(nèi)測長文功能：千字正文+一鍵排版，創(chuàng)作者迎來新表達空間07-05蘭洽會盛景預(yù)覽：展館布展如火如荼，靜待各界嘉賓蒞臨07-05羅馬仕總部探訪：員工稱運營正常但客服轉(zhuǎn)交，充電寶召回針對特定批次07-05科技守護綠水青山：水土流失監(jiān)測設(shè)備精準洞察大地之變通過衛(wèi)星遙感和無人機遙感，能夠獲取大面積土地的影像數(shù)據(jù)，分析土地利用類型、植被覆蓋度等信息。植被是防止水土流失的重要屏障，通過監(jiān)測植被覆蓋度的變化，可以直觀地了解水土流失的潛在風險。通過分析歷史數(shù)據(jù)和實時監(jiān)測…07-05雅馬哈新款125cc踏板車專利圖曝光，大輪轂設(shè)計引關(guān)注07-05寧德市專利預(yù)審加速，助力新能源產(chǎn)業(yè)創(chuàng)新升級07-05平安資本領(lǐng)銜，33億私募股權(quán)投資基金正式成立！07-05字節(jié)跳動新動向：申請“即夢靈感助手”商標，布局創(chuàng)意輔助工具市場07-05浙江空港低空經(jīng)濟合伙企業(yè)成立，十億巨資注入新領(lǐng)域！07-05萬達商管兩座萬達廣場股權(quán)遭凍結(jié)，資金鏈問題引關(guān)注07-05點擊查看更多 +全站最新問界全新M7設(shè)計大改款，有望成30萬價位新銷冠，諜照搶先看隈研吾上海商業(yè)新地標開業(yè)：探索“光之漣漪”的藝術(shù)魅力河鋼突破！新型熱處理強化鋼助力汽車輕量化與安全升級極星Polestar 7高端跨界車計劃曝光，2028年上市，沃爾沃平臺打造魏牌旗艦SUV諜照曝光，或成問界M9、理想L9新對手比亞迪澳洲負責人：安全至上，力保新車全獲ANCAP五星評級熱門內(nèi)容

• 韻達子公司管理失責遭罰4萬，立案調(diào)查結(jié)果揭曉
• 貓王音響創(chuàng)始人怒懟雷軍：網(wǎng)上形象高大上私下表現(xiàn)拙劣
• 劉強東點外賣豪贈千元小費，達達私有化后京東外賣勢頭強勁
• 夸克高考志愿報告需求激增，阿里副總裁：緊急擴容應(yīng)對排隊現(xiàn)象
• 太陽系迎來第三位“星際客人”，外星系不明物體A11pI3Z引關(guān)注
• 國產(chǎn)直升機“心臟”AES100發(fā)動機獲生產(chǎn)許可，助力低空裝備發(fā)展
• 韋東奕回應(yīng)輿論風波：已受影響，拒絕再回應(yīng)
• 劉強東現(xiàn)身沈陽渾河畔，京東又有新動向？
• 華為Pura 80系列或降價來襲，Pro版將成銷售擔當？
• 馬云回應(yīng)釘釘離職員工長文：阿里在發(fā)展，歡迎你常回家
• 劉強東詳解京東新業(yè)務(wù)布局：餐飲酒旅在望，網(wǎng)約車傳聞遭否認
• 國產(chǎn)科技文獻數(shù)據(jù)平臺東壁上線，打破西方壟斷助力科研創(chuàng)新
• 紙鳶AI高考志愿助手，全國考生免費享！3000萬數(shù)據(jù)精準導(dǎo)航，圓夢理想大學(xué)
• 6月首周百度App短劇熱度揭曉，《因為愛情嫁錯門》問鼎冠軍
• 谷歌Chrome瀏覽器即將告別安卓8和9，安全更新成問題！

本欄最新隈研吾上海商業(yè)新地標開業(yè)：探索“光之漣漪”的藝術(shù)魅力水電光伏大比拼：扎拉電站展現(xiàn)碳中和時代能源新格局小米YU7磁吸紙巾盒熱銷，雷軍解釋高價原因，網(wǎng)友熱議后仍搶購一空Jeep侏羅紀世界探索版震撼發(fā)布，硬核越野邂逅史前冒險，40.39萬元起售Jeep侏羅紀世界探索版震撼發(fā)布，硬核越野邂逅史前冒險精神蘭洽會盛景預(yù)覽：展館布展如火如荼，靜待各界嘉賓蒞臨

本文鏈接：http://www.www897cc.com/showinfo-16-167021-0.html阿里通義ThinkSound音頻生成模型開源：讓AI“聽懂畫面”，打破靜音局限

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： ChatGPT原名曝光：曾擬命名為Chat with GPT-3.5，因難記而更名

下一篇： 隈研吾上海商業(yè)新地標開業(yè)：探索“光之漣漪”的藝術(shù)魅力