時尚領(lǐng)域進(jìn)軍元宇宙，2022年會帶來哪些顛覆性的全新體驗(yàn)？
想象一個你的數(shù)字身份與現(xiàn)實(shí)身份同樣重要的世界。想象一個你需要為虛擬自我準(zhǔn)備資產(chǎn)和物資的地方——你需要金錢（Crypto）、房屋（可能建在Minecraft上）和衣物。隨著
當(dāng)大家還在驚嘆和沉浸于AI文本轉(zhuǎn)圖像產(chǎn)出的精妙畫作的時候，一些悶聲做大事的團(tuán)隊已經(jīng)在人工智能研究上邁向了一個新的領(lǐng)域—文本轉(zhuǎn)視頻
9月29日，扎克伯格在facebook上發(fā)布了一條關(guān)于Make-A-Video人工智能系統(tǒng)的帖子，并附上了一段20s的視頻，視頻中匯總了Make-A-Video系統(tǒng)通過文本生成視頻的一些片段。給Make-A-Video一個文本描述，它就可以為您創(chuàng)建一段視頻。
自文本轉(zhuǎn)圖像AI技術(shù)發(fā)布以來，也才過了幾個月，人工智能技術(shù)就發(fā)展成將靜態(tài)圖直接飛升成動態(tài)視頻了，一句話就能生成視頻，不得不說近兩年AI發(fā)展的速度有點(diǎn)近乎瘋狂。
不過在Meta發(fā)布之后僅一周，谷歌就緊隨其后發(fā)布了他們在人工智能領(lǐng)域的最新成果Imagen Video和Phenaki兩種模型，前者可以生成1280*768分辨率，24幀/秒的高清視頻，后者可以將一系列的文本提示生成連貫的長視頻。這么看Meta的Make-A-Video還是遜色一點(diǎn)。
其實(shí)文本生成視頻技術(shù)并不是什么新鮮事兒，早在今年的6月份，清華&智源研究院就自研了“一句話生成視頻”的模型CogVideo，并且將這一模型在gitub上開源了（剛發(fā)布不久立馬就出圈了）
下面我們就一起來了解下這三個團(tuán)隊各自的模型到底如何吧。
CogVideo
CogVideo可以生成分辨率為480*480（畫質(zhì)有點(diǎn)渣），4秒（幀數(shù)32張）左右的視頻，而且在生成真實(shí)的對象，以及內(nèi)容一致性和運(yùn)動真實(shí)性方面的表現(xiàn)相較于當(dāng)時的其他視頻生成AI模型來說都要更好，從下圖的我們不難看出這一點(diǎn)，生成的實(shí)際人物相關(guān)的視頻看上去都比較自然和流暢。
但是有些地方還是值得再探究下，比如這個獅子正在喝水的視頻，CogVideo是直接給獅子加上了一雙手，這和我們的常規(guī)認(rèn)知是背道而馳的，仿佛只是把人的手拿水喝這個動作和獅子做了一個拼接。不過在Meta的Make-A-Video生成的視頻中也存在類似的情況。
那接下來我們就看看Make-A-Video的表現(xiàn)吧！
Make-A-Video
Make-A-Video目前已經(jīng)實(shí)現(xiàn)了下面三個功能
文字轉(zhuǎn)視頻
圖片轉(zhuǎn)視頻（將一張圖片變?yōu)閯討B(tài)視頻或者將兩張圖片合成為一個視頻）
通過原始視頻生成視頻的變體
Meta的官網(wǎng)上也給出了一些的案例。
03
Imagen Video & Phenaki
首先值得一提的是Imagen Video的清晰度，相比前兩個系統(tǒng)生成的視頻有了非常大的提升，目前支持生成1280*768分辨率，24幀/秒的視頻，下面是官網(wǎng)放出的視頻案例效果片段。
甚至還能理解3D結(jié)構(gòu)
最重要的是 Imagen Video 能夠生成各種不同風(fēng)格的文本動畫
不過目前谷歌方面表示不會發(fā)布 Imagen Video 模型或其源代碼，以避免存在模型可能被濫用于制造虛假、仇恨、露骨或有害的內(nèi)容。
通過官網(wǎng)和論文公布的信息可以了解到Phenaki目前可以做到
1. 通過不同的描述切換生成的視頻風(fēng)格或切換場景，生成連貫多樣化的視頻
2. 給一個靜態(tài)的圖像作為第一幀+一段文本描述就可以生成一個視頻
3. 通過一連串的文字描述描述生成2分鐘以上的長視頻（視頻案例請移步Phenaki官網(wǎng)查看：https://phenaki.github.io/#interactive）
而且生成的視頻還具備故事情節(jié)。這樣的話，那未來是不是人人都可以通過文本創(chuàng)建視頻，就不需要拍攝和剪輯了（驚訝?。。。┤绻娴哪軐?shí)現(xiàn)，那可能會給視頻行業(yè)帶來翻天覆地的變化。目前Meta和Google團(tuán)隊都暫未提供線上試用入口，有感興趣的朋友可以去嘗試用下CogVideo在線網(wǎng)頁看看文字轉(zhuǎn)視頻的效果（可點(diǎn)擊原文鏈接跳轉(zhuǎn)）：
網(wǎng)址：https://huggingface.co/spaces/THUDM/CogVideo
文字轉(zhuǎn)視頻的AI技術(shù)在短短的幾個月內(nèi)就已經(jīng)取得了巨大的進(jìn)展，似乎每天都有新的突破，難以想象再過幾個月這個技術(shù)是不是又會邁向了一個新的階層，一起拭目以待吧！
更多最新資訊和業(yè)內(nèi)領(lǐng)先方案分析關(guān)注九日論道喲。也歡迎大家加入我們的知識星球，星球也正在做第二年的續(xù)費(fèi)哈。
本文鏈接：http://www.www897cc.com/showinfo-40-498-0.htmlAI繪畫的下一站：“AI拍電影” 問世
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 中美科技巨頭死磕元宇宙
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號