元媧2.7上線：虛擬人視頻制作速度瘋狂翻倍！
來源：清元宇宙 炎炎夏日努力工作的Q仔的電腦都冒煙兒啦～今天要給大家介紹兩個新小伙伴——小元和小媧，他們將給大家解讀元媧2.7版本重磅更新內容～大家掌聲歡迎～～～本次更
OpenAI“文字生成視頻”大模型Sora根據提示詞“紐約市像亞特蘭蒂斯一樣被淹沒。魚、鯨魚、海龜和鯊魚在紐約的街道上游弋”生成的20秒視頻。視頻截圖
(1/1)
■Sora不僅可以理解用戶的需求，還知道這些事物在現實世界如何存在
■視頻生成需要處理和預測長時間跨度內的動作和場景變化，增加了模型復雜度
■Sora的角色更多是賦能創作者，而不是替代他們提供實現創意愿景的新途徑
本報記者查睿
春節期間，大洋彼岸又放出大招——美國人工智能團隊OpenAI發布“文字生成視頻”大模型Sora，特別是官方公布的長達60秒未經修改的AI視頻，引發業界極大的震撼，網友驚呼“現實不存在了”。
發布短短96個小時內，國內已有AI團隊緊急上線相關“文字生成視頻”大模型，但與國外主流AI視頻模型能力相仿，均無法超越Sora的水平。
“Sora能力超乎預期，但仍未達到顛覆行業的水平。”專家指出，AI生成視頻技術仍有門檻，國內企業想彎道超車面臨不小的難度。
碾壓同行
2月16日，谷歌發布新一代多模態大模型Gemini 1.5 Pro，在性能上超越OpenAI的GPT-4 Turbo，堪稱業界最強大模型。然而，OpenAI在同一日發布Sora大模型，風頭直接蓋過谷歌，僅需通過文本即可自動生成視頻，這也是繼文本模型ChatGPT和圖片模型Dall-E之后，又一極具顛覆性的大模型產品。
Sora并非首個文本生成視頻的大模型。據不完全統計，截至去年年底，全球能實現文本生成視頻的大模型包括Runway、Pika、Stable Video Diffusion等20多個產品。Sora的誕生仍給業界帶來不小的震撼，它所展現出來的能力幾乎可用“碾壓”來形容。
用戶僅需輸入簡短一句話，Sora就可生成一段長達60秒的視頻，遠遠超過市面上同類型級別的AI視頻生成時長。在此之前，AI視頻模型生成時長幾乎在10秒以內，而“明星模型”Runway和Pika等也僅有3到4秒。
60秒的視頻時長，已超過抖音等短視頻平臺的平均視頻時長，Sora的誕生也為以后短視頻平臺的內容生產提供了更大的可能性。
Sora保證視頻時長的同時，也加強了視頻質量的穩定性。記者體驗此前的AI生成視頻時發現，即便是幾秒鐘的視頻也并不連貫，有較強的拼湊感。而Sora幾乎能做到60秒視頻一鏡到底，OpenAI的演示視頻顯示，一名時尚女性走過喧鬧繁華的東京街頭，無論是背景建筑和街道以及人像的逼真程度，都保持一致性，哪怕是各種鏡頭的蒙太奇，都沒有出現明顯的失真情況。
OpenAI在官方博客中寫道，Sora不僅可以理解用戶的需求，還知道這些事物在現實世界如何存在。這離不開OpenAI在文本和圖像方面的長期積累。
上海市人工智能行業協會秘書長鐘俊浩解釋，Sora的訓練依賴于大量帶有文本標題的視頻數據。OpenAI利用Dall-E 3中的標題生成技術，為視頻生成高質量的文本標題，以此提高文本和視頻數據之間的對齊度。在大規模訓練過程中，Sora展示了一些“涌現的模擬能力”，如三維一致性、長距離連貫性、物體持久性以及與世界互動的能力等。這些能力表明Sora能夠在一定程度上模擬物理世界和數字世界的人物、動物和環境。
用嗶哩嗶哩科技Up主“Git源寶”的話來說，OpenAI先拆解大量的視頻素材，并將文字與視頻做匹配對應，之后又進行密集訓練，使Sora擁有自主生成視頻的能力。
挑戰不少
雖然技術令人驚艷，但Sora的視頻生成能力并不完美。已披露的視頻顯示，不少素材仍會“一眼假”，不符合物理學規律等AI生成的Bug（漏洞）不少。
以“幼狼玩耍”視頻為例，Sora生成的內容中出現漏洞：在嬉戲打鬧中，幼狼的數量從3只到5只來回變換，雖然動作連貫，但戲法般的效果讓人摸不到頭腦。另外在“一個老人吹蠟燭”的指令下，Sora生成的視頻卻顯示，老人對著生日蛋糕的蠟燭吹氣，卻沒有一根蠟燭熄滅；在呈現“紅酒杯在桌上摔碎”的鏡頭中，杯子摔碎前，紅酒已灑滿桌子，“先摔碎后灑酒”的邏輯，Sora也沒有理解。
或許是考慮到性能、安全等問題，Sora并未向公眾開放，目前處于安全測試階段。據外媒預測，GPT-4經過6個月的測試后正式向公眾開放，預計Sora將于8月向公眾開放。
在鐘俊浩眼中，Sora面臨的技術挑戰仍不少，特別是與文本對話和圖片生成相比，訓練成本高昂、高質量數據集的缺乏以及視頻描述的模糊性都將是Sora需要跨越的門檻。
“視頻生成需要處理和預測長時間跨度內的動作和場景變化，這增加了模型的復雜度和訓練的計算需求。”他認為，與文本和圖像相比，適用于視頻生成的多模態高質量數據集相對較少，這限制了模型學習復雜動作語義的能力，不僅如此，描述視頻內容比描述靜態圖像復雜，因為它需要包括時間上的變化、動作以及可能的情感或故事線索。
值得一提的是，在Sora發布的同時，OpenAI宣布一項要約售股交易，由此OpenAI整體估值高達800億美元，一年內飆升兩倍多。根據調研公司CB Insights統計，OpenAI已成為全球估值最高的創業公司之一，僅次于字節跳動和SpaceX。
難言顛覆
Sora的橫空出世引爆學界、業界和投資界的討論熱度。
短短4天內，中信建投、國泰君安、申萬宏源、招商證券等10家券商在研報中均表示，Sora是人工智能發展進程中的里程碑，預示AGI（人工通用智能）將加速到來，眾多行業將迎來顛覆式變革。
天風證券認為，內容創作工作流有望被顛覆，下一個億級用戶的互聯網平臺雛形出現。2000億美元的短視頻創作生態有望率先被顛覆，生成式AI在視頻創作和世界模型的大踏步進步將實現對視頻、3D、游戲等下游應用場景的滲透。
中信證券從投資角度判斷，Sora背后的涌現能力為自動駕駛、設計等需要現實世界建模的行業提供了明確方向，硬件端的需求必然會隨著多模態的技術進步不斷提高，因此AI算力持續看好。
“Sora讓人震驚，很大原因是AI的發展速度遠超預期。但不意味著短時間能形成生產力?！辩娍『普J為，Sora現在能力還不足以顛覆行業，特別是影視行業和游戲行業高度依賴創意、情感投入和人類故事講述的領域。AI視頻生成技術可以提供幫助，比如降低制作成本、加速內容生成，甚至在某些情境下提供創意靈感，但目前還不能完全替代人類在創作過程中的獨特視角和情感深度?！癝ora的角色更多是賦能創作者，而不是替代他們提供實現創意愿景的新途徑?！?span style="display:none">ytB28資訊網——每日最新資訊28at.com
根據觀察，Sora的文本到視頻生成技術難以進行精細的局部調整。如果用戶希望修改視頻中的某個具體細節，可能需要進行復雜的手工編輯，不僅工作量大，而且也要求用戶具備一定的視頻編輯技能。同時，Sora每次生成的視頻內容有較大變化，難以保持一致的敘事風格或視覺風格?！凹幢闶?0秒超長視頻，也無法滿足大部分影視作品需求，將多個短視頻片段拼接起來，在轉場的協調和連貫性上也是額外挑戰?！辩娍『普f。
游戲開始
Sora出手即“王炸”，AI生成視頻創業公司無疑將面臨巨大壓力。Runway CEO瓦倫祖拉在社交媒體寫道“Game On（游戲開始了）”，Stability CEO莫斯塔克由衷夸贊“奧特曼（OpenAI CEO）真是個魔術師”。而由華人郭文景創立的Pika Labs也感受到巨大沖擊力，去年11月發布Pika，能夠生成和編輯3D動畫、動漫、卡通和電影，是一款零門檻的視頻生成器，她向媒體透露，團隊如今正準備招人，直接對標Sora。
今年1月，字節跳動也發布了MagicVideo-V2文生視頻模型，通過文生圖大模型先生成一張符合當前輸入文本的圖片，然后使用圖片與文本描述利用圖生成視頻模型生成簡單的視頻，并使用視頻到視頻模型，對當前的視頻進行超分辨率技術合成，讓視頻更清晰細膩。
前幾日，阿里云旗下魔搭社區（ModelScope）上線文本生成視頻大模型。記者從阿里云方面了解到，這是第三方創作者上傳的作品，目前由文本特征提取、文本特征到視頻隱空間擴散模型、視頻隱空間到視頻視覺空間這3個子網絡組成，整體模型參數約17億，僅支持英文輸入。文本生成視頻大模型已面向公眾開放，與Sora類似可直接輸入文字即可看到生成的視頻效果，目前已公布9個官方案例。比如“A panda eating bamboo on a rock”，將出現2秒鐘“大熊貓在石頭上吃竹子”的視頻。
不過這一大模型并不成熟，記者以類似的“A panda dancing（跳舞的大熊貓）”為例，生成2秒鐘的視頻耗時長達32分鐘，且輸出的視頻與“吃竹子的大熊貓”沒有太大區別。
北京社會科學院副研究員王鵬告訴記者，盡管國內大模型近年來取得顯著進展，但與OpenAI、谷歌、英偉達等國際大公司相比，仍存在技術差距。這些國際大公司在深度學習、自然語言處理、計算機視覺等領域擁有更深厚的技術積累和研發實力，在AIGC領域具有更強的競爭力。
“國內企業要迎頭趕上，需要在技術研發、人才培養和市場洞察上下功夫，同時還要考慮到國內外市場的差異性和合規性問題?！比斯ぶ悄苄袠I天使投資人郭濤認為，國內AI企業不妨與成熟技術團隊建立戰略合作，共享技術資源，針對國內市場需求，進行產品和應用創新，實現彎道超車。
上海機會
“現在上海有些公司正在進行‘從一張圖到另一張圖生成中間視頻’的大模型產品研發，比如上海人工智能企業重點孵化器‘AI驛站’中的小冰公司、筆墨AI等企業?！辩娍『普f，上海在技術研發、人才培養、數據資源、算力資源等方面與國際大公司存在不小差距。“追上Sora的能力需要時間，這不僅取決于技術投入和研發速度，還需要考慮行業生態的建設?！?span style="display:none">ytB28資訊網——每日最新資訊28at.com
他認為，OpenAI目前在競爭力上一騎絕塵，中國要在AI領域追趕，首先依然靠人才，鼓勵行業高密度聚集，避免人才分散，也避免智能算力等稀缺資源分散。上海應發揮全產業鏈生態優勢，鼓勵行業結合，尤其在智能制造、機器人等領域，整合不同行業的技術和市場資源。同時，鼓勵相關企業、研究機構和教育機構在特定區域聚集，以促進知識共享、人才流動和資源高效利用。通過政策引導和資源配置，集中力量攻克關鍵技術難題。
上海在大模型領域的發展正迅速推進，目前已成為國內在人工智能和大模型研發上的重鎮。根據《上海市推動人工智能大模型創新發展若干措施（2023—2025年）》，上海將加快打造世界級人工智能產業集群，這些措施包括支持大模型的創新能力、提升創新要素供給能級、推進大模型的創新應用，以及營造一流的創新環境。
目前，徐匯區建立了全國首個以大模型、產業生態集聚發展為功能定位的產業生態空間。全國首批備案通過的8個大模型中，上海占三席，徐匯區集聚了全國近25%的大模型企業和項目，在全國大模型領域處于領先水平。
本文鏈接：http://www.www897cc.com/showinfo-45-3511-0.htmlSora爆火96小時國內大模型進場-專家認為，國內企業想彎道超車難度不小
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 人工智能搶走美國大廠員工“飯碗”
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號