拯救XR，蘋果力不從心
來源 | 光子星球撰文 | 文燁豪 編輯 | 吳先之 蘋果終于呈上了它的“答卷”。 北京時間6月6日凌晨，蘋果2023年全球開發(fā)者大會（WWDC）如期舉行。作為蘋果CEO庫克口中&ld
6 月 3 日消息，字節(jié)跳動 Seed 團隊上周宣布開源統(tǒng)一多模態(tài)理解和生成模型 BAGEL，該模型支持文本、圖像和視頻的統(tǒng)一理解和生成。
BAGEL 具有 70 億個激活參數(shù)（總共 140 億個），并在大規(guī)模交錯多模態(tài)數(shù)據(jù)上進行訓(xùn)練。BAGEL 在標(biāo)準(zhǔn)多模態(tài)理解排行榜上超越了當(dāng)前頂級的開源 VLMs，如 Qwen2.5-VL 和 InternVL-2.5，并且提供了與專業(yè)生成器如 SD3 競爭的文本到圖像質(zhì)量。
此外，BAGEL 在經(jīng)典的圖像編輯場景中展示了比領(lǐng)先的開源模型更好的定性結(jié)果。更重要的是，它擴展到了自由形式的視覺操作、多視圖合成和世界導(dǎo)航，這些能力構(gòu)成了超出以往圖像編輯模型范圍的“世界建模”任務(wù)。
具體來看，BAGEL 基于大語言模型進行訓(xùn)練，具備基礎(chǔ)的推理和對話能力，能夠處理圖像和文本的混合輸入，并以混合格式輸出。
BAGEL 可生成較高質(zhì)量、逼真的圖像、視頻或圖文交錯的內(nèi)容。此外，還引入了長思維鏈 COT（Chain-of-Thought）模式，模型在生成之前可先“思考”。
基于交錯的多模態(tài)數(shù)據(jù)預(yù)訓(xùn)練，BAGEL 自然地學(xué)會了保留視覺特征和細(xì)微細(xì)節(jié)，并且能從視頻中捕捉復(fù)雜的視覺運動，這些能力使得 BAGEL 在圖像編輯上更為高效。
基于對視覺內(nèi)容和風(fēng)格的理解，BAGEL 僅使用較少的對齊數(shù)據(jù)，即可實現(xiàn)圖片的風(fēng)格切換，甚至還可轉(zhuǎn)換至不同場景中。
此外，BAGEL 還具備世界模型的基礎(chǔ)能力，可實現(xiàn)世界導(dǎo)航、未來幀預(yù)測、3D 世界生成等更具挑戰(zhàn)性的任務(wù)，并進行不同角度的旋轉(zhuǎn)或視角切換。同時，BAGEL 還具備較強的泛化能力，不僅在各類真實場景中，還能在游戲、藝術(shù)作品、卡通動畫等場景中實現(xiàn)導(dǎo)航。
基于以上能力，BAGEL 還可通過一個統(tǒng)一的多模態(tài)接口，實現(xiàn)各項能力的復(fù)雜組合，進行多輪對話。
附 BAGEL 開源地址：
官網(wǎng)及體驗入口：
https://seed.bytedance.com/bagel
GitHub 代碼：
https://github.com/bytedance-seed/BAGEL
模型權(quán)重：
https://huggingface.co/ByteDance-Seed/BAGEL-7B-MoT
研究論文：
https://arxiv.org/pdf/2505.14683
本文鏈接：http://www.www897cc.com/showinfo-45-13401-0.html字節(jié) Seed 開源統(tǒng)一多模態(tài)理解和生成模型 BAGEL
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 任天堂《塞爾達(dá)傳說》手機伴侶應(yīng)用被指使用生成式 AI 配音
下一篇： OpenAI 更新編程工具 Codex：新增語音輸入 + 聯(lián)網(wǎng)，向 ChatGPT Plus 用戶開放
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號