近日,文生視頻賽道又出王炸新產品?!袄吓啤盇I 視頻玩家 Runway 推出了其最新力作 ——Gen-3 Alpha, 與前一代 Gen-2 相比,這款新模型在細節豐富度、畫面連貫性以及動作表現上都有了“顯著的提升”。
據 Runway 介紹,Gen-3 Alpha 經過了視頻和圖像的混合訓練,繼承了前一代在 2023 年 11 月發布時的功能,包括文本轉視頻、圖像轉視頻、文本轉圖像等,同時還支持運動刷、高級相機控制和導演模式等多樣化的控制方式。
從官方分享的視頻來看,此次推出的 Gen-3 Alpha 在視頻質量上有了顯著提升,無論是難以把控的夜景燈光,還是景別的流暢切換,Gen-3 Alpha 都稱得上盡善盡美。
更重要的是,據知情人士透露,Gen-3 Alpha 模型的生成速度非常之快。官方分享的演示視頻普遍徘徊在 10 秒水平線上,而這 10 秒視頻只需要 90 秒的時間就能快速生成,在業界保持了領先態勢。Runway 官方表示,Gen-3 Alpha 將在未來幾天內向所有人推出。
自今年初 Sora 正式開啟文生視頻熱潮,海內外廠家紛紛開始加快步伐探索多模態內容生成領域。海外,Luma AI、Google 密集推出新品新技術;國內則更注重本土素材訓練及應用落地,AIGC 軟件 A 股上市公司萬興科技 (300624.SZ) 推出的國內首個音視頻多媒體大模型萬興“天幕”效果矚目、快手最新推出的視頻大模型可靈也驚艷了不少用戶。多模態生成領域已進入百花齊放的階段。
其中,Luma AI 于前不久官宣推出文生視頻 / 圖生視頻模型 Dream Machine, 能根據文本生成高質量逼真視頻,引發大量用戶關注。目前,Dream Machine 已免費向全球用戶開放 API 試用,用戶進入官網后用谷歌賬號登錄即可馬上試用。每位用戶每月可以免費生成 30 次視頻,但每條視頻的時長僅為 5 秒。如果需要生成更多視頻,則需要訂閱付費服務。該模型具有速度快、動作逼真等特點。
Google 也不甘示弱,宣布推出新的模型技術 Video-to-audio。和 ElevenLabs 推出的 AI 音效生成功能有異曲同工之妙,Video-to-audio 支持根據視頻和文本提示詞生成和視頻匹配的音頻,甚至可以與主體角色唇形同步。
國內方面,快手于近日推出文生視頻大模型“可靈”,支持生成最長 2 分鐘、30fps 的 1080P 視頻,引發海內外 AI 圈關注。該模型在游戲開發、影視制作等領域有廣泛應用,其背后涉及數據準備、模型架構、訓練方案及優化策略等技術。不同于實驗室的 Demo 或視頻演示,可靈是快手推出的產品級應用,并已在快影 App 中正式開啟邀測。
此外值得關注的還有已開始探索應用落地的萬興“天幕”。基于 20 年來對全球多媒體創作者的深刻理解,萬興科技重磅推出國內首個專注于數字創意領域的音視頻多媒體大模型萬興“天幕”,為全球創作者提供從模型到應用場景的全鏈路創作支持。
萬興“天幕”當前已通過中央網信辦備案,并已正式開放公測,具備近百項音視頻原子能力,其中文生視頻能實現不同風格、豐富場景及主題的連貫性,一鍵生成時長率先支持 60 秒 +。目前,萬興“天幕”眾多能力已在旗下創意軟件產品中規?;瘧茫渲?Wondershare Filmora 13 已集成大模型能力,落地 AI Copilot 智能剪輯助手、AI 文字快剪、AIGC 音樂生成等功能;AIGC“真人”短視頻營銷神器萬興播爆已實現大模型中數字人能力的應用,并提供領先的 AI 視頻翻譯能力。
作為 AIGC 行業的領軍企業,萬興科技當前業務已覆蓋 200 多個國家和地區,全球累計用戶超過 15 億,月活躍用戶近 1 億,被視為“中國版 Adobe”。面向 AIGC 時代,萬興科技已推出多款 AIGC 創意新品,并持續推進旗下明星產品的 AI 化發展,旗下萬興喵影、Wondershare Filmora、Wondershare PDFelement 等均已集成 AIGC 能力。
此次 Runway 產品更新中,值得關注的是,Runway 宣布正在與一些娛樂和媒體機構攜手合作,打造符合特定需求的 Gen-3 定制版本。
作為文生視頻應用屆的先驅者,Runway 此前曾為斬獲奧斯卡金像獎的科幻電影《瞬息全宇宙》提供過技術支持,而 Gen-3 Alpha 模型的定制化能夠實現更精準的風格控制和角色一致性,滿足特定的藝術和敘事需求,也將進一步加速 Runway 與影視行業的合作落地。
本文鏈接:http://www.www897cc.com/showinfo-26-94874-0.htmlRunway 王者歸來發布 Gen-3 Google 快手萬興科技等紛紛聚焦 AI 視頻生成賽道
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
下一篇: 基于JPA如何處理數據表公共字段?