日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 網絡

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!

來源: 責編: 時間:2023-12-06 17:11:54 335觀看
導讀 看!現在正有四位小姐姐在你面前大秀熱舞:以為是某些主播在短視頻平臺發布的作品?No,No,No。真實答案是:假的,生成的,而且還是只靠了一張圖的那種!真實的打開方式是這樣的:這就是來自新加坡國立大學和字節跳動新的一項

看!現在正有四位小姐姐在你面前大秀熱舞:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

以為是某些主播在短視頻平臺發布的作品?YsH28資訊網——每日最新資訊28at.com

No,No,No。YsH28資訊網——每日最新資訊28at.com

真實答案是:假的,生成的,而且還是只靠了一張圖的那種!YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

真實的打開方式是這樣的:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

這就是來自新加坡國立大學和字節跳動新的一項研究,名叫MagicAnimateYsH28資訊網——每日最新資訊28at.com

它的作用簡單來說可以總結為一個公式:一張圖片 + 一組動作 = 毫無違和感的視頻YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

然后啊,這項技術一經公布,可謂是在科技圈里掀起了不小的波瀾,眾多科技大佬和極客們紛紛下場耍了起來。YsH28資訊網——每日最新資訊28at.com

就連HuggingFace CTO都拿自己的頭像體驗了一把:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

順便還風趣地開了句玩笑:YsH28資訊網——每日最新資訊28at.com

這算是健身了吧?我這周可以不去健身房了。YsH28資訊網——每日最新資訊28at.com

還有相當與時俱進的網友,拿著剛出爐的GTA6(俠盜獵車手6)預告片中的人物玩了一把:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

甚至就連表情包們也成了網友們pick的對象……YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

MagicAnimate可以說是把科技圈的目光聚焦到了自己身上,因此也有網友調侃說:YsH28資訊網——每日最新資訊28at.com

OpenAI可以休息一下了。YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

火,著實是火。YsH28資訊網——每日最新資訊28at.com

一張圖即可生成一段舞YsH28資訊網——每日最新資訊28at.com

那么如此火爆的MagicAnimate,該如何“食用”?YsH28資訊網——每日最新資訊28at.com

話不多說,我們現在就來手把手地體驗一次。YsH28資訊網——每日最新資訊28at.com

目前項目團隊已經在HuggingFace中開放了在線體驗的頁面:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

操作也是非常得簡單,只需三步即可:YsH28資訊網——每日最新資訊28at.com

上傳一張靜態人物照片YsH28資訊網——每日最新資訊28at.com

上傳想要生成的動作demo視頻YsH28資訊網——每日最新資訊28at.com

調整參數,點擊“Animate”即可YsH28資訊網——每日最新資訊28at.com

例如下面就是鄙人照片和一段近期席卷全球的《科目三》舞蹈片段:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!△視頻源:抖音(ID:QC0217)YsH28資訊網——每日最新資訊28at.com

也可以選擇頁面下方提供的模版進行體驗:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

不過需要注意的是,由于MagicAnimate目前過于火爆,在生成的過程中可能會出現“宕機”的情況:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

即便成功“食用”,可能也得排大隊……YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!(沒錯!截至發稿,還是沒有等到結果!)YsH28資訊網——每日最新資訊28at.com

除此之外,MagicAnimate在GitHub中也給出了本地體驗的方式,感興趣的小伙伴可以試試哦~YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

那么接下來的一個問題便是:YsH28資訊網——每日最新資訊28at.com

怎么做到的?YsH28資訊網——每日最新資訊28at.com

整體而言,MagicAnimate采用的是基于擴散模型(diffusion)的一個框架,目的就是增強時間一致性、保持參考圖像的真實性,并提高動畫保真度。YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

為此,團隊首先開發了一個視頻擴散模型(Temporal Consistency Modeling)來編碼時間信息。YsH28資訊網——每日最新資訊28at.com

這個模型通過在擴散網絡中加入時間注意力模塊,來編碼時間信息,從而確保動畫中各幀之間的時間一致性。YsH28資訊網——每日最新資訊28at.com

其次,為了保持幀間的外觀一致性,團隊引入了一種新的外觀編碼器(Appearance Encoder)來保留參考圖像的復雜細節。YsH28資訊網——每日最新資訊28at.com

這個編碼器與以往使用CLIP編碼的方法不同,能夠提取密集的視覺特征來引導動畫,從而更好地保留身份、背景和服裝等信息。YsH28資訊網——每日最新資訊28at.com

在這兩項創新技術的基礎之上,團隊進一步采用了一種簡單的視頻融合技術(Video Fusion Technique)來促進長視頻動畫的平滑過渡。YsH28資訊網——每日最新資訊28at.com

終,在兩個基準上的實驗表明,MagicAnimate的結果要遠優于以往的方法。YsH28資訊網——每日最新資訊28at.com

尤其是在具有挑戰性的TikTok舞蹈數據集上,MagicAnimate在視頻保真度方面比強基線高出38%以上!YsH28資訊網——每日最新資訊28at.com

團隊所給出的定性比較如下:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

以及與cross-ID的SOTA基線相比,結果如下:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

One More ThingYsH28資訊網——每日最新資訊28at.com

不得不說,諸如MagicAnimate的項目近著實是有點火爆。YsH28資訊網——每日最新資訊28at.com

這不,在它“出道”前不久,阿里團隊也發布了一個名叫Animate Anyone的項目,同樣是只要“一張圖”和“想要的動作”:YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

由此,也有網友發出了疑問:YsH28資訊網——每日最新資訊28at.com

這似乎是MagicAnimate和AnimateAnyone之間的戰爭。誰更勝一籌?YsH28資訊網——每日最新資訊28at.com

抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!YsH28資訊網——每日最新資訊28at.com

你覺得呢?YsH28資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/abs/2311.16498YsH28資訊網——每日最新資訊28at.com

參考鏈接:YsH28資訊網——每日最新資訊28at.com

[1]https://github.com/magic-research/magic-animateYsH28資訊網——每日最新資訊28at.com

[2]https://twitter.com/cocktailpeanut/status/1732052908227588263YsH28資訊網——每日最新資訊28at.com

[3]https://twitter.com/ProductHunt/status/1732116454647136449YsH28資訊網——每日最新資訊28at.com

[4]https://twitter.com/Gradio/status/1731992981715231162YsH28資訊網——每日最新資訊28at.com

[5]https://twitter.com/dylan_ebert_/status/1732152096621813954YsH28資訊網——每日最新資訊28at.com


文章出處:量子位

本文鏈接:http://www.www897cc.com/showinfo-17-38611-0.html抖音跳舞不用真人出鏡:一張照片就能生成高質量視頻!

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 2024年央視春晚吉祥物正式亮相:五爪金龍造型 命名“龍辰辰”

下一篇: 正新雞排否認資金鏈斷裂:一切經營正常

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 德江县| 松原市| 温泉县| 陇西县| 台北县| 遂溪县| 荣昌县| 吴江市| 同德县| 石首市| 富川| 韶山市| 汉沽区| 泰州市| 监利县| 周口市| 普定县| 德庆县| 铜川市| 理塘县| 开远市| 攀枝花市| 尼木县| 平南县| 剑阁县| 罗甸县| 甘肃省| 贡觉县| 长泰县| 临沂市| 任丘市| 克拉玛依市| 上杭县| 河曲县| 汉中市| 安义县| 布拖县| 大埔区| 肃南| 柏乡县| 连江县|