《蜘蛛俠》火了，超級英雄就該這么演
燃次元（ID:chaintruth）原創作者 | 陶 淘編輯 | 曹 拿下豆瓣8.8分、IMDB 9.1的高分，6月2日在全球同步上映的《蜘蛛俠：縱橫宇宙》（以下簡稱《蜘蛛俠》），上映不足一周，便在國內“
當大家還在驚嘆和沉浸于AI文本轉圖像產出的精妙畫作的時候，一些悶聲做大事的團隊已經在人工智能研究上邁向了一個新的領域—文本轉視頻
9月29日，扎克伯格在facebook上發布了一條關于Make-A-Video人工智能系統的帖子，并附上了一段20s的視頻，視頻中匯總了Make-A-Video系統通過文本生成視頻的一些片段。給Make-A-Video一個文本描述，它就可以為您創建一段視頻。
自文本轉圖像AI技術發布以來，也才過了幾個月，人工智能技術就發展成將靜態圖直接飛升成動態視頻了，一句話就能生成視頻，不得不說近兩年AI發展的速度有點近乎瘋狂。
不過在Meta發布之后僅一周，谷歌就緊隨其后發布了他們在人工智能領域的最新成果Imagen Video和Phenaki兩種模型，前者可以生成1280*768分辨率，24幀/秒的高清視頻，后者可以將一系列的文本提示生成連貫的長視頻。這么看Meta的Make-A-Video還是遜色一點。
其實文本生成視頻技術并不是什么新鮮事兒，早在今年的6月份，清華&智源研究院就自研了“一句話生成視頻”的模型CogVideo，并且將這一模型在gitub上開源了（剛發布不久立馬就出圈了）
下面我們就一起來了解下這三個團隊各自的模型到底如何吧。
CogVideo
CogVideo可以生成分辨率為480*480（畫質有點渣），4秒（幀數32張）左右的視頻，而且在生成真實的對象，以及內容一致性和運動真實性方面的表現相較于當時的其他視頻生成AI模型來說都要更好，從下圖的我們不難看出這一點，生成的實際人物相關的視頻看上去都比較自然和流暢。
但是有些地方還是值得再探究下，比如這個獅子正在喝水的視頻，CogVideo是直接給獅子加上了一雙手，這和我們的常規認知是背道而馳的，仿佛只是把人的手拿水喝這個動作和獅子做了一個拼接。不過在Meta的Make-A-Video生成的視頻中也存在類似的情況。
那接下來我們就看看Make-A-Video的表現吧！
Make-A-Video
Make-A-Video目前已經實現了下面三個功能
文字轉視頻
圖片轉視頻（將一張圖片變為動態視頻或者將兩張圖片合成為一個視頻）
通過原始視頻生成視頻的變體
Meta的官網上也給出了一些的案例。
03
Imagen Video & Phenaki
首先值得一提的是Imagen Video的清晰度，相比前兩個系統生成的視頻有了非常大的提升，目前支持生成1280*768分辨率，24幀/秒的視頻，下面是官網放出的視頻案例效果片段。
甚至還能理解3D結構
最重要的是 Imagen Video 能夠生成各種不同風格的文本動畫
不過目前谷歌方面表示不會發布 Imagen Video 模型或其源代碼，以避免存在模型可能被濫用于制造虛假、仇恨、露骨或有害的內容。
通過官網和論文公布的信息可以了解到Phenaki目前可以做到
1. 通過不同的描述切換生成的視頻風格或切換場景，生成連貫多樣化的視頻
2. 給一個靜態的圖像作為第一幀+一段文本描述就可以生成一個視頻
3. 通過一連串的文字描述描述生成2分鐘以上的長視頻（視頻案例請移步Phenaki官網查看：https://phenaki.github.io/#interactive）
而且生成的視頻還具備故事情節。這樣的話，那未來是不是人人都可以通過文本創建視頻，就不需要拍攝和剪輯了（驚訝！！！）如果真的能實現，那可能會給視頻行業帶來翻天覆地的變化。目前Meta和Google團隊都暫未提供線上試用入口，有感興趣的朋友可以去嘗試用下CogVideo在線網頁看看文字轉視頻的效果（可點擊原文鏈接跳轉）：
網址：https://huggingface.co/spaces/THUDM/CogVideo
文字轉視頻的AI技術在短短的幾個月內就已經取得了巨大的進展，似乎每天都有新的突破，難以想象再過幾個月這個技術是不是又會邁向了一個新的階層，一起拭目以待吧！
更多最新資訊和業內領先方案分析關注九日論道喲。也歡迎大家加入我們的知識星球，星球也正在做第二年的續費哈。
本文鏈接：http://www.www897cc.com/showinfo-40-498-0.htmlAI繪畫的下一站：“AI拍電影” 問世
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 中美科技巨頭死磕元宇宙
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號