9 月 24 日，火山引擎 AI 創(chuàng)新巡展在深圳舉辦，帶來(lái)了豆包大模型的最新進(jìn)展。豆包大模型家族迎來(lái)了新成員。
具體來(lái)說(shuō)，火山引擎全新推出了豆包?視頻生成模型，以及豆包音樂(lè)模型、同聲傳譯模型，同時(shí)還升級(jí)了通用語(yǔ)言模型、文生圖模型、語(yǔ)音模型，不斷增強(qiáng)各類(lèi)模態(tài)以及規(guī)模化的調(diào)用量，讓豆包大模型“更強(qiáng)模型、更低價(jià)格、更易落地”的優(yōu)勢(shì)持續(xù)凸顯。此外，多家行業(yè)客戶(hù)也在會(huì)上分享了大模型應(yīng)用的實(shí)踐經(jīng)驗(yàn)。
本次豆包帶來(lái)的一系列大模型進(jìn)展中，最引人關(guān)注的，莫過(guò)于全新豆包視頻生成模型，它能夠帶來(lái)影視級(jí)視覺(jué)感受的視頻生成效果，全面推動(dòng)豆包大模型 AIGC 應(yīng)用創(chuàng)新的步伐。
在豆包視頻生成模型正式推出之前，可能不少同學(xué)已經(jīng)使用過(guò)市面上一些 AI 生成視頻的產(chǎn)品。小編此前也做過(guò)體驗(yàn)，總體來(lái)說(shuō)這些大模型生成的視頻往往有比較明顯的“AI 痕跡”，無(wú)論是視頻的內(nèi)容邏輯、畫(huà)面自然度等方面，都有待提升，而且對(duì)語(yǔ)義指令的理解也存在問(wèn)題，經(jīng)常會(huì)生成一些不符合指令要求的視頻。
而這些問(wèn)題在豆包視頻生成模型中，都得到了針對(duì)性的解決，同時(shí)也成為其不可忽視的產(chǎn)品亮點(diǎn)。
首先，豆包視頻生成模型擁有精準(zhǔn)的語(yǔ)義理解能力，支持多動(dòng)作多主體交互的內(nèi)容生成。相比大部分視頻生成模型只能完成簡(jiǎn)單指令單一動(dòng)作，豆包視頻生成模型可以遵從更復(fù)雜的 prompt，解鎖時(shí)序性多拍動(dòng)作指令與多個(gè)主體間的交互能力，指哪兒打哪兒，為你打開(kāi)想象力的大門(mén)。
比如下面這則視頻，兩位主角的動(dòng)作、表情都非常自然，包括馬兒看起來(lái)也很真實(shí)。
還有下面這段視頻，首先女主的表情十分細(xì)膩?zhàn)匀唬?dāng)男主入畫(huà)時(shí)，女主緩緩戴上墨鏡，和男主的動(dòng)作交互也非常真實(shí)，看起來(lái)似乎是有些抗拒，將復(fù)雜細(xì)膩的微動(dòng)作都呈現(xiàn)了出來(lái)，從而讓視頻呈現(xiàn)出強(qiáng)烈的“故事感”。
其次，豆包視頻生成模型支持強(qiáng)大動(dòng)態(tài)與炫酷運(yùn)鏡，讓 AI 生成視頻告別 PPT 動(dòng)畫(huà)質(zhì)感。針對(duì)高動(dòng)態(tài)的復(fù)雜場(chǎng)景視頻、多樣化表達(dá)的文本指令，豆包視頻生成模型基于高效的 DiT 融合計(jì)算單元，更充分地壓縮編碼視頻與文本，使生成視頻的動(dòng)作更靈動(dòng)，鏡頭更多樣，表情更豐富，細(xì)節(jié)更豐滿(mǎn)。
并且生成的視頻可同時(shí)存在主體的大動(dòng)態(tài)與鏡頭的炫酷切換。支持變焦、環(huán)繞、平搖、縮放，目標(biāo)跟隨等超多鏡頭語(yǔ)言，靈活控制視角。
例如下面這則視頻，畫(huà)面中兩位主角前后景的變焦切換非常自然，感覺(jué)就像是真實(shí)的攝影師在水中拍攝的畫(huà)面，而不像以往 AI 生成視頻那樣呆板生硬。
在內(nèi)容邏輯方面，豆包視頻生成模型還支持一致性多鏡頭生成，能夠 10 秒講一個(gè)完整的故事。它采用全新設(shè)計(jì)的擴(kuò)散模型訓(xùn)練方法，成功攻克了多鏡頭切換時(shí)難以保持一致性的困擾，在一個(gè) prompt 的多個(gè)鏡頭切換時(shí)，保持主體、風(fēng)格、氛圍和邏輯的一致性，實(shí)現(xiàn)導(dǎo)演自由。
例如下面這則動(dòng)畫(huà)視頻，三個(gè)鏡頭組成了一個(gè)簡(jiǎn)短易懂的場(chǎng)景故事，看起來(lái)就像是一個(gè)正常的動(dòng)畫(huà)電影中截取的片段。
再比如下面這則視頻，講述一個(gè)乘坐火箭的人沖撞大樓引發(fā)爆炸的場(chǎng)景故事，三段鏡頭的剪輯呈現(xiàn)出流暢的故事邏輯，還給了主人公緊張的表情特寫(xiě)，調(diào)動(dòng)觀眾的情緒，讓人感嘆 AI 這是覺(jué)醒了“創(chuàng)作意識(shí)”？
此外，豆包視頻生成模型還能保證視頻高保真和高美感，可生成影視級(jí)畫(huà)面，細(xì)節(jié)層次豐富，逼真度極高，擁有專(zhuān)業(yè)級(jí)色彩調(diào)和和光影布局，大幅提升畫(huà)面視覺(jué)審美。
比如下面這一則，整個(gè)畫(huà)面的打光、色調(diào)、場(chǎng)景、角色的表情都非常精致、細(xì)膩，很有電影大片的質(zhì)感，不說(shuō)的話(huà)誰(shuí)能想到這是 AI 生成的視頻？
同時(shí)其深度優(yōu)化的 Transformer 結(jié)構(gòu)，大幅提升了視頻生成的泛化能力，支持包括黑白、3D 動(dòng)畫(huà)、2D 動(dòng)畫(huà)、國(guó)畫(huà)、厚涂等多種風(fēng)格，包含 1:1、3:4、4:3、16:9、9:16、21:9 比例，帶你領(lǐng)略更自由的世界。
可以看到，豆包視頻生成模型的表現(xiàn)確實(shí)是相當(dāng)驚艷的，無(wú)論是語(yǔ)義理解能力、多個(gè)主體運(yùn)動(dòng)的復(fù)雜交互畫(huà)面，還是多鏡頭切換的內(nèi)容一致性等方面，都可以做到接近專(zhuān)業(yè)人類(lèi)視頻工作者的水平，如果不說(shuō)是 AI 生成的，可能大家都很難發(fā)現(xiàn)。
而能做到這一點(diǎn)，對(duì)于字節(jié)跳動(dòng)以及火山引擎來(lái)說(shuō)，其實(shí)完全在意料之中。
首先在“視頻”能力方面，本就是字節(jié)跳動(dòng)的優(yōu)勢(shì)賽道。火山引擎不僅是抖音計(jì)算服務(wù)的提供方，更是國(guó)內(nèi)眾多視頻、直播等業(yè)務(wù)背后的可靠支撐，在長(zhǎng)年應(yīng)對(duì)視頻業(yè)務(wù)流量、時(shí)延、穩(wěn)定性等各種嚴(yán)苛的挑戰(zhàn)中，沉淀下來(lái)獨(dú)樹(shù)一幟的技術(shù)能力。
而在 AI 方面，即大模型的能力，有火山引擎的支撐，字節(jié)跳動(dòng)豆包大模型無(wú)論在算力、算法以及數(shù)據(jù)、場(chǎng)景等方面都有非常充沛的資源。具體到本次豆包視頻生成模型上，我們也能看到字節(jié)跳動(dòng)在視頻大模型技術(shù)研發(fā)的不斷投入和創(chuàng)新。比如他們采用了高效的 DiT 融合計(jì)算單元，還全新設(shè)計(jì)了擴(kuò)散模型的訓(xùn)練方法，來(lái)實(shí)現(xiàn)一致性多鏡頭的生成。此外他們還深度優(yōu)化了 Transfomer 結(jié)構(gòu)，大幅提升了視頻生成的泛化能力。
豆包大模型自去年 5 月正式發(fā)布以來(lái)，就展現(xiàn)出很強(qiáng)的市場(chǎng)競(jìng)爭(zhēng)力。這次在深圳的火山引擎 AI 創(chuàng)新巡展，火山引擎總裁譚待也透露了豆包大模型最新的使用情況：
“截至到 9 月，豆包大模型的日均 tokens 使用量已經(jīng)超過(guò) 1.3 萬(wàn)億，4 個(gè)月的時(shí)間里 tokens 整體增長(zhǎng)超過(guò)了 10 倍。在多模態(tài)方面，豆包?文生圖模型日均生成圖片 5,000 萬(wàn)張，此外，豆包目前日均處理語(yǔ)音 85 萬(wàn)小時(shí)。”
如此巨大的使用量，顯然代表著市場(chǎng)對(duì)于豆包大模型使用體驗(yàn)和效果的認(rèn)可。同時(shí)也得益于字節(jié)大模型一貫的發(fā)展路徑和邏輯：先 toC 打磨產(chǎn)品，模型能力具備競(jìng)爭(zhēng)優(yōu)勢(shì)后再 toB 拓展市場(chǎng)。
比如豆包語(yǔ)言大模型其實(shí)早在去年就在字節(jié)跳動(dòng)內(nèi)部完成了上線(xiàn)，也是首批通過(guò)大模型服務(wù)安全備案的大模型之一。字節(jié)跳動(dòng)內(nèi)部 50 多個(gè)業(yè)務(wù)已經(jīng)大量使用豆包大模型進(jìn)行 AI 創(chuàng)新，包括抖音、頭條等數(shù)億 DAU 產(chǎn)品。經(jīng)過(guò)近一年的打磨后才在今年 5 月正式發(fā)布。
而這次豆包視頻生成模型也是如此，其早期版本在今年 2 月就在即夢(mèng)（Dreamina）上應(yīng)用，持續(xù)迭代優(yōu)化后才在這次正式推向企業(yè)市場(chǎng)。
而未來(lái)，豆包視頻生成模型也可以為眾多企業(yè)場(chǎng)景帶來(lái)創(chuàng)新，例如在電商營(yíng)銷(xiāo)場(chǎng)景，豆包視頻生成模型不僅快速把商品變成 3D 動(dòng)態(tài)多角度展示，還能配合中秋、七夕、春節(jié)等節(jié)點(diǎn)替換背景和風(fēng)格，生成不同尺寸快速上架；在動(dòng)畫(huà)教育場(chǎng)景，豆包?視頻生成模型可以大幅降低動(dòng)畫(huà)的制作成本，生動(dòng)的呈現(xiàn)童話(huà)故事情節(jié)。
此外，還有城市文旅、音樂(lè) MV、微電影、短劇等應(yīng)用場(chǎng)景，都可以通過(guò)豆包?視頻生成模型實(shí)現(xiàn)降本提效和創(chuàng)意合規(guī)。
總之，豆包視頻生成模型的推出，將為創(chuàng)作者乃至各行各業(yè)的工作者帶來(lái)探索未來(lái)世界的有力工具，為所有人提供有趣、快樂(lè)和自由的創(chuàng)作體驗(yàn)，用更廣闊的創(chuàng)作空間和靈感啟發(fā)，幫大家打開(kāi)連接現(xiàn)實(shí)和想象世界的大門(mén)。
本文鏈接：http://www.www897cc.com/showinfo-45-8014-0.html字節(jié)跳動(dòng)發(fā)布豆包視頻生成模型，這效果讓我分不清 AI 與現(xiàn)實(shí)
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 中國(guó)移動(dòng)“算網(wǎng)大腦”規(guī)模商用，推動(dòng)算力像水電一樣即取即用
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
