拯救XR，蘋果力不從心
來源 | 光子星球撰文 | 文燁豪 編輯 | 吳先之 蘋果終于呈上了它的“答卷”。 北京時間6月6日凌晨，蘋果2023年全球開發(fā)者大會（WWDC）如期舉行。作為蘋果CEO庫克口中&ld
9 月 19 日消息，阿里通義萬相全新動作生成模型 Wan2.2-Animate 今日正式開源。該模型支持驅(qū)動人物、動漫形象和動物照片，可應(yīng)用于短視頻創(chuàng)作、舞蹈模板生成、動漫制作等領(lǐng)域。
Wan2.2-Animate 模型基于此前通義萬相開源的 Animate Anyone 模型全面升級，不僅在人物一致性、生成質(zhì)量等指標(biāo)上大幅提升，還同時支持動作模仿和角色扮演兩種模式：
角色模仿：輸入一張角色圖片和一段參考視頻，可將視頻角色的動作、表情遷移到圖片角色中，賦予圖片角色動態(tài)表現(xiàn)力；
角色扮演：同時還可在保留原始視頻的動作、表情及環(huán)境的基礎(chǔ)上，將視頻中的角色替換為圖片中的角色。
此次，通義萬相團(tuán)隊構(gòu)建了一個涵蓋說話、面部表情和身體動作的大規(guī)模人物視頻數(shù)據(jù)集，并基于通義萬相圖生視頻模型進(jìn)行后訓(xùn)練。
Wan2.2-Animate 將角色信息、環(huán)境信息和動作等，規(guī)范到一種統(tǒng)一的表示格式，實現(xiàn)了單一模型同時兼容兩種推理模式；針對身體運動和臉部表情，分別使用骨骼信號和隱式特征，配合動作重定向模塊，實現(xiàn)動作和表情的精準(zhǔn)復(fù)刻。在替換模式中，團(tuán)隊還設(shè)計了一個獨立的光照融合 LoRA，用于保證完美的光照融合效果。
實測結(jié)果顯示，Wan2.2-Animate 在視頻生成質(zhì)量、主體一致性和感知損失等關(guān)鍵指標(biāo)上，超越了 StableAnimator、LivePortrait 等開源模型，是目前性能最強(qiáng)的動作生成模型，在人類主觀評測中，Wan2.2-Animate 甚至超越了以 Runway Act-two 代表的閉源模型。
即日起，用戶可在 Github、HuggingFace 和魔搭社區(qū)下載模型和代碼，也可以在阿里云百煉平臺調(diào)用 API，或通義萬相官網(wǎng)直接體驗。附開源地址如下：
https://github.com/Wan-Video/Wan2.2
https://modelscope.cn/models/Wan-AI/Wan2.2-Animate-14B
https://huggingface.co/Wan-AI/Wan2.2-Animate-14B
本文鏈接：http://www.www897cc.com/showinfo-45-27925-0.html上傳一張圖、主演任何視頻，“性能最強(qiáng)動作生成模型”阿里通義萬相 Wan2.2-Animate 開源
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 騰訊視頻全新上線“AI 修復(fù)”片單，《家有兒女》《食神》等 4K 超高清畫質(zhì)
下一篇： 小米開源首個原生端到端語音大模型 Xiaomi-MiMo-Audio，對話自然度、交互適配達(dá)擬人化水準(zhǔn)
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號