昆侖萬維近日宣布了一項重大技術突破,正式開源了兩款前沿的AI視頻生成模型:SkyReels-V1與SkyReels-A1。這兩款模型分別標志著國內在AI短劇創作和視頻表情動作控制領域邁出了重要一步。
SkyReels-V1,作為國內首個面向AI短劇創作的視頻生成模型,其研發過程中深度挖掘了表演細節,并對情緒、場景及表演需求進行了精細處理。該模型采用了大量高質量的好萊塢級別數據進行訓練與微調,確保了其生成內容的專業水準。昆侖萬維官方介紹稱,SkyReels-V1能夠生成影視級的人物微表情表演,支持33種人物表情與超過400種自然動作的組合,從而精準還原真人的情感表達,無論是大笑、怒吼、驚訝還是哭泣,都能細膩呈現。
SkyReels-V1的每一幀畫面都彰顯出電影級的質感,這得益于其基于好萊塢影視數據的訓練。從構圖、演員站位到相機角度,每一個細節都力求完美。SkyReels-V1不僅支持文本生成視頻,還突破了圖生視頻的壁壘,成為開源視頻生成模型中參數最大、支持圖生視頻的一款。在同等分辨率下,其各項指標均達到了開源領域的頂尖水平。
SkyReels-V1的功能遠不止于此,它還具備影視化表情識別體系,能夠精準理解11種影視戲劇中的人物表情,如不屑、不耐煩等微妙情緒。同時,基于人體三維重建技術,該模型還能感知視頻中多人的空間相對關系,從而生成影視級的人物站位。它還構建了超過400種行為語義單元,實現了對人物行為的精準理解,并能夠分析人物、服裝、場景與劇情的關聯。
在性能方面,SkyReels-V1同樣表現出色。借助自研的推理優化框架「SkyReels-Infer」,該模型在544p分辨率下,單臺4090顯卡的推理時間僅需80秒。同時,它還支持分布式多卡并行處理,以及多種并行技術,進一步提升了處理效率。為了滿足低顯存用戶的需求,該模型還采用了fp8量化及參數級卸載技術,并通過flash attention、SageAttention等優化手段,進一步降低了延遲。基于開源diffuser庫,SkyReels-V1的易用性也得到了顯著提升。
為了更精準地控制人物視頻生成,昆侖萬維還開源了SkyReels-A1,這是一款SOTA級別的基于視頻基座模型的表情動作可控算法。與Runway的Act-One相媲美,SkyReels-A1支持視頻驅動的電影級表情捕捉。它能夠基于任意人體比例(包括肖像、半身及全身構圖)生成人物動態視頻。通過將參考人物圖片與驅動視頻同時輸入,SkyReels-A1能夠將驅動視頻中的面部表情和表演細節精準地“移植”到給定參考圖片的人物身上。
這兩款開源模型的發布,無疑將為AI視頻生成領域注入新的活力。感興趣的開發者可以通過以下鏈接獲取更多信息:SkyReels-V1(https://github.com/SkyworkAI/SkyReels-V1)與SkyReels-A1(https://github.com/SkyworkAI/SkyReels-A1)。
本文鏈接:http://www.www897cc.com/showinfo-16-131301-0.html昆侖萬維開源SkyReels-V1:國內首個AI短劇視頻生成模型問世
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 騰訊新動作:深圳小薯商業管理公司正式成立,全資控股引關注
下一篇: 橘子按壓冒煙?警惕孢子擴散,小心肺部感染