近日，視頻編輯技術(shù)領(lǐng)域迎來了一次革命性的進展，通義萬相正式宣布將其創(chuàng)新的視頻編輯模型VACE進行開源。此次推出的VACE包含兩個版本，Wan2.1-VACE-1.3B支持480P分辨率的視頻處理，而更高規(guī)格的Wan2.1-VACE-14B則進一步支持到720P分辨率，為用戶提供更多選擇。KkT28資訊網(wǎng)——每日最新資訊28at.com

VACE的問世，徹底顛覆了傳統(tǒng)的視頻創(chuàng)作模式。用戶無需再在各種模型和工具之間來回切換，僅憑VACE即可實現(xiàn)從文字生成視頻、圖像參考生成、局部編輯到視頻擴展等一系列操作，極大地提升了創(chuàng)作的便捷性和效率。這一站式視頻創(chuàng)作體驗，讓視頻編輯變得更加靈活和高效。KkT28資訊網(wǎng)——每日最新資訊28at.com

VACE的核心競爭力在于其強大的可控重繪能力。通過基于人體姿態(tài)、運動光流、結(jié)構(gòu)保持、空間運動和著色等多種控制生成技術(shù)，VACE能夠輕松實現(xiàn)視頻生成后的細致調(diào)整。它還支持基于主體和背景參考的視頻生成，使得調(diào)整人物姿態(tài)、動作軌跡或場景布局等操作變得易如反掌。這一能力的背后，是VACE先進的多模態(tài)輸入機制。KkT28資訊網(wǎng)——每日最新資訊28at.com

VACE的多模態(tài)輸入機制將文本、圖像、視頻、Mask和控制信號等多種輸入形式整合到一個統(tǒng)一的系統(tǒng)中。無論是圖像輸入中的物體參考圖或視頻幀，還是視頻輸入中的抹除、局部擴展等操作，VACE都能應對自如。用戶還可以通過0/1二值信號來指定編輯區(qū)域，并通過深度圖、光流、布局、灰度、線稿和姿態(tài)等控制信號來進一步精確控制。KkT28資訊網(wǎng)——每日最新資訊28at.com

VACE不僅支持對視頻內(nèi)容的替換、增加和刪除等操作，還能在時間維度上根據(jù)任意片段或首尾幀補全整個視頻時長。在空間維度上，VACE同樣表現(xiàn)出色，能夠?qū)Ξ嬅孢吘壔虮尘皡^(qū)域進行擴展生成，如背景替換功能，可以在保留主體不變的前提下，根據(jù)Prompt更換背景環(huán)境。這些功能的實現(xiàn)，得益于VACE強大的多模態(tài)輸入模塊和Wan2.1的卓越生成能力。KkT28資訊網(wǎng)——每日最新資訊28at.com

更VACE還支持多種單任務能力的自由組合，打破了傳統(tǒng)專家模型各自為戰(zhàn)的限制。作為統(tǒng)一模型，VACE能夠自然融合文生視頻、姿態(tài)控制、背景替換、局部編輯等原子能力，無需為單一功能單獨訓練新模型。這種靈活組合機制不僅簡化了創(chuàng)作流程，還極大地拓展了AI視頻生成的創(chuàng)意邊界。KkT28資訊網(wǎng)——每日最新資訊28at.com

例如，通過組合圖片參考與主體重塑功能，VACE可以實現(xiàn)視頻中物體的替換；通過組合運動控制與首幀參考功能，則可以實現(xiàn)靜態(tài)圖片的姿態(tài)控制。還可以將圖片參考、首幀參考、背景擴展與時長延展功能相結(jié)合，將豎版圖拓展為橫屏視頻，并在其中加入?yún)⒖紙D片中的元素。這些功能的實現(xiàn)，都得益于VACE提出的靈活統(tǒng)一的輸入范式——視頻條件單元VCU。KkT28資訊網(wǎng)——每日最新資訊28at.com

VCU將多模態(tài)的各類上下文輸入總結(jié)為文本、幀序列、mask序列三大形態(tài)，從而在輸入形式上統(tǒng)一了四類視頻生成與編輯任務。VCU的幀序列和Mask序列在數(shù)學上可以相互疊加，為多任務的自由組合創(chuàng)造了有利條件。在技術(shù)實現(xiàn)方面，VACE需要解決的一大難題是如何將多模態(tài)輸入統(tǒng)一編碼為擴散Transformer可處理的token序列。為此，VACE對VCU輸入中的frame序列進行概念解耦，并通過隱空間編碼和可訓練參數(shù)映射等步驟，成功將多模態(tài)輸入轉(zhuǎn)化為DiT的token序列。KkT28資訊網(wǎng)——每日最新資訊28at.com

在訓練策略上，VACE對比了全局微調(diào)與上下文適配器微調(diào)兩種方案，并最終選擇了收斂速度更快且能避免基礎(chǔ)能力丟失風險的上下文適配器微調(diào)方法。通過定量評測可以看出，相比1.3Bpreview版本，本次開源的VACE系列模型在多個關(guān)鍵指標上均有顯著提升。KkT28資訊網(wǎng)——每日最新資訊28at.com

對于廣大開發(fā)者而言，VACE的開源無疑是一個巨大的福音。他們可以通過GitHub（https://github.com/Wan-Video/Wan2.1）、魔搭（https://modelscope.cn/organization/Wan-AI）、Hugging Face（https://huggingface.co/Wan-AI）等平臺獲取VACE的源代碼和模型資源，并在國內(nèi)站（https://tongyi.aliyun.com/wanxiang/）和國際站（https://wan.video）上獲取更多信息和支持。KkT28資訊網(wǎng)——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊小馬智行無人駕駛測試車意外起火，車身變形，起火原因待查！05-15腦機接口新突破：意念操控技術(shù)讓“心想事成”不再是夢05-15仿生合成橡膠航空輪胎試飛驗證成功，中國航空輪胎技術(shù)獲重大突破！05-15淘寶新功能：商家可屏蔽高退款率用戶，你怎么看？05-15西湖大學團隊揭秘超導界面電子向列性演化新特征05-15文遠知行廣州核心城區(qū)：8條自動駕駛線路，24小時出行新體驗！05-15漫威新劇《鋼鐵之心》預告來襲，反派斗篷登場，6月24日首播連更三集！05-15IDC預測：中國AR/VR市場將迎來爆發(fā)，五年復合年均增長率高達41.1%05-15漳州核電“華龍一號”4號機組模塊三成功吊裝，安全質(zhì)量全程可控！05-15《藍精靈大電影》預告來襲，藍妹妹帶隊勇闖現(xiàn)實，7月18日北美見！05-15卡塔爾航空大手筆！波音史上最大寬體客機訂單誕生05-15AMD RX 9060 XT顯卡渲染圖曝光，雙風扇設計引關(guān)注05-15綠燈已亮，你的車為何還在“猶豫”？05-15Coinbase納入標普500，加密貨幣行業(yè)主流化提速？業(yè)內(nèi)人士認為，Coinbase的加入，正悄悄改寫華爾街的權(quán)力結(jié)構(gòu)，也意味著加密貨幣行業(yè)正式進入主流金融視野，監(jiān)管機構(gòu)和傳統(tǒng)投資者對數(shù)字資產(chǎn)的接受度提升。 全球市場風險情緒的復蘇和股票市場的強勁表現(xiàn)，增強了投…05-15谷歌DeepMind新突破：AlphaEvolve引領(lǐng)算法發(fā)現(xiàn)自動化革命05-15點擊查看更多 +全站最新中俄聯(lián)手！月球核電站將如何照亮深空探索之路？140噸級重復使用液氧甲烷發(fā)動機整機試驗成功，航天科技再突破！比亞迪純電K-Car來襲，續(xù)航180km，能否撼動日本輕自動車市場？奇瑞“守護者”智慧安全系統(tǒng)發(fā)布，全球安全標準再升級！奧迪SUV未來規(guī)劃曝光：Q系列新車將密集上市，電動化成趨勢吉利博越L煥新上市倒計時！5月13日見，顏值內(nèi)飾全面升級，預售價10.59萬起熱門內(nèi)容

• 關(guān)注公眾號 免費領(lǐng)取AI資料
• 夸克AI升級新高度，深度搜索Pro將解鎖專業(yè)領(lǐng)域難題
• 華為WATCH 5系列智能手表5月15日柏林發(fā)布，新功能有何亮點？
• 網(wǎng)紅鹵鵝哥車展“投喂”周鴻祎，言行引爭議，助理緊急提醒！
• 上海歡樂谷火災背后：曾涉生命權(quán)訴訟，安全監(jiān)管再引關(guān)注
• BOSS直聘緊急下架“秀恩愛”招聘：違規(guī)信息秒處理
• 京東外賣詳解全職騎手招募流程，入口位置及百億補貼活動曝光
• 胖東來與網(wǎng)紅互懟事件升級，抖音下架29條涉嫌侵權(quán)視頻
• 單身女性試管嬰兒黑幕：違規(guī)醫(yī)院背后的送丁送喜產(chǎn)業(yè)鏈
• 于東來劉強東強強聯(lián)手！京東物流胖東來供應鏈基地6月運營，年產(chǎn)值25億
• Cursor大放異彩！學生可免費享一年P(guān)ro會員，AI編程教育迎來新機遇
• 2025年618活動時間表公布：淘寶京東618均從5月13日開始，優(yōu)惠力度驚人？
• 劉強東日本街頭變“豬豬俠”，京東外賣二維碼搶鏡外賣大戰(zhàn)
• 王健林3億股權(quán)遭凍結(jié)，名下多家公司股權(quán)狀況引關(guān)注
• “胖都來”商場開業(yè)撞名“胖東來”，回應：無意改名，已收律師函

本欄最新腦機接口新突破：意念操控技術(shù)讓“心想事成”不再是夢仿生合成橡膠航空輪胎試飛驗證成功，中國航空輪胎技術(shù)獲重大突破！淘寶新功能：商家可屏蔽高退款率用戶，你怎么看？文遠知行廣州核心城區(qū)：8條自動駕駛線路，24小時出行新體驗！漫威新劇《鋼鐵之心》預告來襲，反派斗篷登場，6月24日首播連更三集！IDC預測：中國AR/VR市場將迎來爆發(fā)，五年復合年均增長率高達41.1%

本文鏈接：http://www.www897cc.com/showinfo-16-149919-0.html阿里通義萬相VACE開源：視頻編輯迎來一站式創(chuàng)新模型

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 瘋狂小楊哥徒弟七老板淘寶帶貨美妝，抖音直播也將重啟？

下一篇： 小馬智行無人駕駛測試車意外起火，車身變形，起火原因待查！