廣汽豐田凌尚智能電混雙擎正式上市，凌尚雙擎混動版售價14.98-16.98萬元
2023年7月15日，全新廣汽豐田凌尚雙擎版正式上市，新車將搭載豐田最新第五代THS混動系統，根據配置的不同推出三款車型，售價為14.98-16.98萬元，其定位要低于凱美瑞，但高于
阿里巴巴通義實驗室近期宣布了一項重大開源成果——音頻生成模型ThinkSound，這一創新之舉標志著AI在音頻創作領域邁出了重要一步。ThinkSound的獨特之處在于，它首次引入了CoT（思維鏈）技術，使AI能夠模擬專業音效師的思考過程，精準捕捉視覺細節，并生成與畫面完美同步的高保真音頻。
據悉，ThinkSound的代碼和模型已在Github、HuggingFace及魔搭社區等平臺全面開源，供開發者免費下載和體驗。這一開放舉措無疑將極大地推動音頻生成技術的發展，激發更多創新應用。
在多媒體編輯和視頻內容創作領域，視頻生成音頻（V2A）技術一直備受關注。然而，現有技術往往難以準確捕捉畫面中的動態細節和時序信息，導致生成的音頻與關鍵視覺事件錯位，無法滿足專業創意場景的高要求。針對這一難題，通義實驗室將思維鏈推理引入多模態大模型，實現了對視覺事件與聲音之間深度關聯的精準建模。
為了進一步提升模型的性能，通義團隊還構建了首個帶思維鏈標注的音頻數據集AudioCoT。該數據集融合了超過2500小時的多源異構數據，為模型在音頻生成與編輯任務中提供了豐富的訓練素材。得益于此，ThinkSound在開源的VGGSound測試集上表現優異，多項核心指標均超越了現有主流方法。
具體而言，在openl3空間中Fréchet 距離（FD）這一指標上，ThinkSound相比MMAudio降低了近9個點，接近真實音頻分布的相似度提高了20%以上。同時，在代表模型對聲音事件類別和特征判別精準度的KLPaSST 和 KLPaNNs兩項指標上，ThinkSound也取得了同類模型中的最佳成績。
在MovieGen Audio Bench測試集上，ThinkSound同樣展現出了強大的實力，大幅領先于meta推出的音頻生成模型Movie Gen Audio。這一表現不僅證明了ThinkSound在影視音效、音頻后期等領域的廣泛應用潛力，也為其在游戲與虛擬現實音效生成等前沿領域的應用奠定了堅實基礎。
通義實驗室在音頻生成領域的布局遠不止于此。此前，該實驗室已推出語音生成大模型Cosyvoice和端到端音頻多模態大模型MinMo等，全面覆蓋了語音合成、音頻生成、音頻理解等多個場景。此次ThinkSound的開源，無疑將進一步鞏固通義實驗室在音頻生成領域的領先地位。
本文鏈接：http://www.www897cc.com/showinfo-48-7902-0.html阿里通義實驗室開源ThinkSound音頻模型，實現AI為視頻精準配音
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號