日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

Meta 首發「變色龍」挑戰 GPT-4o,34B 參數引領多模態革命!10 萬億 token 訓練刷新 SOTA

來源: 責編: 時間:2024-05-21 17:25:17 201觀看
導讀 【新智元導讀】GPT-4o 發布不到一周,首個敢于挑戰王者的新模型誕生!最近,Meta 團隊發布了「混合模態」Chameleon,可以在單一神經網絡無縫處理文本和圖像。10 萬億 token 訓練的 34B 參數模型性能接近 GPT-4V,刷新

【新智元導讀】GPT-4o 發布不到一周,首個敢于挑戰王者的新模型誕生!最近,Meta 團隊發布了「混合模態」Chameleon,可以在單一神經網絡無縫處理文本和圖像。10 萬億 token 訓練的 34B 參數模型性能接近 GPT-4V,刷新 SOTA。03C28資訊網——每日最新資訊28at.com

GPT-4o 的橫空出世,再次創立了一個多模態模型發展的新范式!為什么這么說?03C28資訊網——每日最新資訊28at.com

OpenAI 將其稱為「首個『原生』多模態」模型,意味著 GPT-4o 與以往所有的模型,都不盡相同。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

傳統的多模態基礎模型,通常為每種模態采用特定的「編碼器」或「解碼器」,將不同的模態分離開。03C28資訊網——每日最新資訊28at.com

然而,這種方法限制了模型,有效融合跨模態信息的能力。03C28資訊網——每日最新資訊28at.com

官博介紹,GPT-4o 是「首個端到端」訓練的,跨越文本、視覺和音頻的模型,所有的輸入和輸出,都由單個神經網絡處理。03C28資訊網——每日最新資訊28at.com

而現在,業界首個敢于挑戰 GPT-4o 的模型現身了!03C28資訊網——每日最新資訊28at.com

最近,來自 Meta 團隊的研究人員發布了「混合模態基座模型」——Chameleon(變色龍)。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/pdf/2405.0981803C28資訊網——每日最新資訊28at.com

與 GPT-4o 一樣,Chameleon 采用了統一的 Transformer 架構,使用文本、圖像和代碼混合模態完成訓練。03C28資訊網——每日最新資訊28at.com

以類似文本生成的方式,對圖像進行離散「分詞化」(tokenization),最終生成和推理交錯的文本和圖像序列。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

這種「早期融合」的方法,所有的 pipeline 從一開始就被映射到一個共同的表示空間,因此模型可以無縫處理文本和圖像。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

Chameleon 生成的多模態內容03C28資訊網——每日最新資訊28at.com

與此同時,這樣的設計,為模型訓練帶來了重大的技術挑戰。03C28資訊網——每日最新資訊28at.com

對此,Meta 研究團隊引入了一系列架構創新和訓練技術。03C28資訊網——每日最新資訊28at.com

結果表明,在純文本任務中,340 億參數 Chameleon(用 10 萬億多模態 token 訓練)的性能和 Gemini-Pro 相當。03C28資訊網——每日最新資訊28at.com

在視覺問答和圖像標注基準上,刷新 SOTA,性能接近 GPT-4V。03C28資訊網——每日最新資訊28at.com

不過,不論是 GPT-4o,還是 Chameleon,都是新一代「原生」端到端的多模態基礎模型早期探索。03C28資訊網——每日最新資訊28at.com

GTC 2024 大會上,老黃描述了邁向 AGI 最終愿景的重要一步 —— 各種模態互通有無。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

下一個開源 GPT-4o 要來?

Chameleon 的發布,簡直就是對 GPT-4o 做出最快的反應。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

有網友表示,token 進,token 出,簡直無法去解釋。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

甚至還有人稱,在 GPT-4o 誕生之后發布得非常扎實的研究,OOS 將迎頭趕上。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

不過,目前 Chameleon 模型支持生成的模態,主要是圖像文本。缺少了 GPT-4o 中的語音能力。03C28資訊網——每日最新資訊28at.com

網友稱,然后只需添加另一種模態(音頻),擴大訓練數據集,「烹飪」一段時間,我們就會得到 GPT-4o...?03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

Meta 的產品管理總監稱,「我非常自豪能夠給予這個團隊支持。讓我們朝著讓 GPT-4o 更接近開源社區的方向邁進一步」。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

或許用不了多久,我們就得到了一個開源版的 GPT-4o。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

接下來,一起看看 Chameleon 模型的技術細節。03C28資訊網——每日最新資訊28at.com

技術架構

Meta 在 Chameleon 的論文中首先表示:很多新近發布的模型依舊沒有將「多模態」貫徹到底。03C28資訊網——每日最新資訊28at.com

這些模型雖然采用了端到端的訓練方式,但仍然單獨對不同模態進行建模,使用分開的編碼器或解碼器。03C28資訊網——每日最新資訊28at.com

如開頭所述,這種做法限制了模型跨模態信息的能力,也難以生成包含任意形式信息的、真正的多模態文檔。03C28資訊網——每日最新資訊28at.com

為了改進這種缺陷,Meta 提出了一系列「混合模態」的基座模型 Chameleon—— 能夠生成文本和圖像內容任意交織在一起的內容。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

Chameleon 的生成結果,文本和圖像交錯出現03C28資訊網——每日最新資訊28at.com

所謂「混合模態」基座模型,指 Chameleon 不僅使用了端到端的方式從頭開始訓練,而且訓練時將所有模態的信息交織混合在一起,并使用統一的架構處理。03C28資訊網——每日最新資訊28at.com

如何將所有模態的信息混合在同一個模型架構中表示?03C28資訊網——每日最新資訊28at.com

答案還是「token」。03C28資訊網——每日最新資訊28at.com

只要全部表示為 token,就可以把所有模態的信息映射到同一個向量空間中,讓 Transformer 無縫處理。03C28資訊網——每日最新資訊28at.com

但是,這種做法會帶來優化穩定性以及模型擴展性方面的技術挑戰。03C28資訊網——每日最新資訊28at.com

為了解決這些問題,論文相應地對模型架構進行創新,并使用了一些訓練技巧,包括 QK 歸一化和 Zloss 等。03C28資訊網——每日最新資訊28at.com

同時,論文也提出了將純文本 LLM 微調為多模態模型的方法。03C28資訊網——每日最新資訊28at.com

圖像「分詞器」

要將所有模態全部表示為 token,首先需要一個強大的分詞器。03C28資訊網——每日最新資訊28at.com

為此,Chameleon 的團隊在 Meta 之前一篇論文的基礎上開發了一種新的圖像分詞器,基于大小為 8192 的 codebook,將規格為 512×512 的圖像編碼為 1024 個離散的 token。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

文字分詞器則基于谷歌開發的 sentencepiece 開源庫,訓練了一個同時含有 65536 個文本 token 與 8192 個圖像 token 的 BPE 分詞器。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

預訓練

為了徹底激發「混合模態」的潛力,訓練數據也是將不同模態打散、混合呈現給模型的,既有純文本、文本-圖像對,也有文本、圖像交錯出現的多模態文檔。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

純文本數據囊括了 Llama 2 和 CodeLlama 所使用的所有預訓練數據,共計 2.9 萬億個 token。03C28資訊網——每日最新資訊28at.com

文本-圖像對包含了一些公開數據,共計 14 億對、1.5 萬億個 token。03C28資訊網——每日最新資訊28at.com

對于文本和圖像交錯的數據,論文特意強調沒有包含來自 Meta 產品的數據,完全使用公開數據來源,整理出共 4000 億個 token。03C28資訊網——每日最新資訊28at.com

Chameleon 的預訓練分兩個單獨的階段進行,分別占總訓練比例的 80% 和 20%。03C28資訊網——每日最新資訊28at.com

訓練的第一階段就是讓模型以無監督的方式學習以上數據,第二階段開始時,先將第一階段得到的權重降低 50%,并混合更高質量的數據讓模型繼續學習。03C28資訊網——每日最新資訊28at.com

在模型擴展到超過 8B 參數和 1T token 時,訓練后期會產生明顯的不穩定問題。03C28資訊網——每日最新資訊28at.com

由于所有模態共享模型權重,每個模態似乎都有增加 norm 的傾向,與其他模態「競爭」。03C28資訊網——每日最新資訊28at.com

這在訓練初期不會產生太大的問題,但隨著訓練的進行、數據超出 bf16 的表達范圍時,就會有 loss 發散的現象。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

研究人員將其歸因于 softmax 函數所具有的平移不變性,這種現象在單模態模型中也被稱為「logit 漂移」(logit drift)。03C28資訊網——每日最新資訊28at.com

因此,論文提出了一些架構調整和優化方法來保證穩定性:03C28資訊網——每日最新資訊28at.com

-QK 歸一化(query-key normalization):將 layer norm 應用于注意力模塊中的 query 和 key 向量,從而直接控制 softmax 層輸入的 norm 增長。03C28資訊網——每日最新資訊28at.com

-在注意力層和前饋層之后引入 dropout03C28資訊網——每日最新資訊28at.com

-在損失函數中使用 Zloss 正則化03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

除了數據來源和架構,論文還大方公開了預訓練所用的算力規模。03C28資訊網——每日最新資訊28at.com

硬件型號為 80GB 內存的英偉達 A100,7B 版本并行使用 1024 個 GPU 訓練了約 86 萬個 GPU 小時,34B 模型所用的 GPU 數量則擴大了 3 倍,GPU 小時數超過 428 萬。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

作為曾經開源 Llama 2 的公司,Meta 的研究團隊確實大方,相比連技術報告都沒有的 GPT-4o,這篇有數據有干貨的論文可謂「仁至義盡」。03C28資訊網——每日最新資訊28at.com

全面超越 Llama 2

具體的實驗評估中,研究人員將其分為人工評估和安全測試,以及基準評估。03C28資訊網——每日最新資訊28at.com

基準評估

Chameleon-34B 使用了比 Llama 2 多四倍的 token 進行訓練后,在各種單模態的基準測試中都取得了驚艷的效果。03C28資訊網——每日最新資訊28at.com

在純文本任務生成中,研究人員將預訓練(非 SFT)模型的純文本功能與其他領先的純文本 LLM 進行比較。03C28資訊網——每日最新資訊28at.com

評估內容包括,常識推理、閱讀理解、數學問題和世界知識領域,評估結果如下表所示。03C28資訊網——每日最新資訊28at.com

- 常識推理和閱讀理解03C28資訊網——每日最新資訊28at.com

可以觀察到,與 Llama 2 相比,Chameleon-7B 和 Chameleon-34B 更具競爭力。甚至,34B 甚至在 5/8 的任務上超過了 Llama-2 70B,性能與 Mixtral-8x7B 相當。03C28資訊網——每日最新資訊28at.com

- 數學和世界知識03C28資訊網——每日最新資訊28at.com

盡管進行了其他模態的訓練,但兩個 Chameleon 模型都表現出很強的數學能力。03C28資訊網——每日最新資訊28at.com

在 GSM8k 上,Chameleon-7B 的表現優于相應參數規模的 Llama 2 模型,性能與 Mistral-7B 相當。03C28資訊網——每日最新資訊28at.com

此外,Chameleon-34B 在 maj@1(61.4 vs 56.8)和 Mixtral-8x7B 在 maj@32 (77.0 vs 75.1)上的表現均優于 Llama 2-70B。03C28資訊網——每日最新資訊28at.com

同樣,在數學運算中,Chameleon-7B 的性能超過 Llama 2,與 Mistral-7B 在 maj@4 上的性能相當,而 Chameleon-34B 的性能超過 Llama 2-70B,接近 Mixtral-8x7B 在 maj@4 上的性能(24.7 vs 28.4)。03C28資訊網——每日最新資訊28at.com

總體而言,Chameleon 的性能全面超過了 Llama 2,在某些任務上接近 Mistral-7B / 8x7B。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

在文本到圖像任務中,研究人員具體評測了視覺問答、圖像標注兩項具體任務。03C28資訊網——每日最新資訊28at.com

Chameleon 在視覺問答和圖像標注任務中打敗 Flamingo 和 Llava-1.5 等模型成為 SOTA,在純文本任務中也和第一梯隊的 Mixtral 8x7B、Gemini Pro 等模型表現相當。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

人工評估和安全測試

同時,為了進一步評估模型生成多模態內容的質量,論文也在基準測試之外引入了人類評估實驗,發現 Chameleon-34B 的表現遠遠超過了 Gemini Pro 和 GPT-4V。03C28資訊網——每日最新資訊28at.com

相對于 GPT-4V 和 Gemini Pro,人類評委分別打出了 51.6% 和 60.4 的偏好率。03C28資訊網——每日最新資訊28at.com

下圖展示了,對于一組多樣化的、來自人類標注者的 prompt,Chameleon 與基線模型在理解和生成內容方面的性能對比。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

其中的每個問題,都由三個不同的人類標注回答,并將多數票作為最終答案。03C28資訊網——每日最新資訊28at.com

為了了解人類標注者的質量,以及問題的設計是否合理,研究人員還檢查了不同標注者之間的一致性程度。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

表 5 是對 20,000 個眾包提示和 445 個紅隊交互進行的安全測試,引發模型產生不安全內容。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

與 Gemini 和 GPT-4V 相比,Chameleon 在處理需要交錯、混合模態響應的提示時,非常有競爭力。03C28資訊網——每日最新資訊28at.com

從示例中可以看到,在完成問答任務時,Chameleon 既能理解輸入的文本 + 圖像,也能為模型輸出內容加上合適的「配圖」。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

并且,Chameleon 生成的圖像通常與上下文相關,這樣一來,這種交錯內容的輸出對用戶來說,極具吸引力。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

貢獻團隊

論文最后,還放上了參與這項研究的貢獻者。03C28資訊網——每日最新資訊28at.com

包括預訓練、對齊和安全、推理和評估、所有項目的參與者。03C28資訊網——每日最新資訊28at.com

其中,* 表示共同一作,?表示關鍵貢獻者,?表示工作流程負責人,?表示項目負責人。03C28資訊網——每日最新資訊28at.com

03C28資訊網——每日最新資訊28at.com

參考資料:03C28資訊網——每日最新資訊28at.com

https://the-decoder.com/metas-chameleon-ai-model-blends-text-and-images-hinting-at-a-future-gpt-4o-rival/03C28資訊網——每日最新資訊28at.com

本文來自微信公眾號:新智元 (ID:AI_era)03C28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4337-0.htmlMeta 首發「變色龍」挑戰 GPT-4o,34B 參數引領多模態革命!10 萬億 token 訓練刷新 SOTA

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: OpenAI 阿爾特曼談 GPT-5:功能或類似“虛擬大腦”,將是一種特別嘗試

下一篇: 育碧 CEO:將使用 AI 技術開發更有活力、更豐富的游戲

標簽:
  • 熱門焦點
  • 元宇宙的文旅賽道,還能如何發力?

    來源:X增強現實蘋果推出Vision Pro,為XR行業注入一劑強心針。而在蘋果開發者大會上迪士尼CEO鮑勃·艾格在宣布迪士尼與蘋果達成合作,其Disney+流媒體服務將于Vision Pro
  • 虛擬人再升級,企業可以解放雙手了?

    來源:伯虎財經今天想跟大家來嘮嘮AI,其實聊到這個話題很多人都不陌生了。在ChatGPT和AIGC大熱背后,還有一位低調的“大佬”——虛擬人。比如咱們熟知的虛
  • AI大模型“戰火”燒到了教育領域

    作者:劉曠自2023年開年以來,AI大模型這股風是越吹越猛烈了。隨著ChatGPT的出圈爆火,再度掀起了一波AI熱浪,無論是在國內還是國外都有不少企業宣布入局或者跟進AI大模型領域。與
  • 以太坊升級將會帶來的5個改變

    以太坊自2015年誕生以來就廣受歡迎,但最近其昂貴的交易費用和低可擴展性對執行復雜的應用程序產生了負面作用,用戶對以太坊改進的需求也日益急迫。以太坊2.0已進
  • 從NFT頂級公鏈到Web3.0基礎設施:帶你了解不一樣的Flow

    對于大部分年輕人來說,剛剛過去的春節有一個詞語突然成為了品牌宣傳的流行語,作為從NFT中衍生出來的“數字藏品”一時間獲得了不少品牌青睞,他們紛紛推出自己的數
  • NFT 技術將傳世之作帶入博物館

    意大利四大博物館已與一個項目合作,該項目將展示和銷售達芬奇、卡拉瓦喬、拉斐爾和莫迪利亞尼等人的杰作的 NFT復制品。該計劃采用了 科技公司Cincello的國際專
  • NFT教育要從娃娃抓起!這些青少年藝術家已經賺取了幾千萬美金

    一些藝術家通過將他們的創作作為NFT出售而獲得了巨大收益。令人驚訝的是,許多賺取了數百萬美元的藝術家們仍在讀高中。這可能有點讓人難以置信。然而,請記住,在短
  • 冬奧會數字收藏品升溫,市場再現“一墩難求”

    根據公開信息顯示,國際奧委會官方授權的冰墩墩數字盲盒于北京時間2月12日凌晨在nWayPlay平臺發售,總數為500個,每個99美元,每人限購5個。此外,不同的奧運徽章數字藏
  • 元宇宙+劇本殺:“在異世界里當演員”

    你玩過劇本殺嗎?體驗過“元宇宙+劇本殺”嗎?2月,恒信東方推出了一款次時代劇本殺原創作品——《失落的王朝》。其劇本和線索以數字化資產打造,通過VR技術塑造了與
Top 主站蜘蛛池模板: 昭苏县| 静海县| 红原县| 都安| 扬州市| 习水县| 库尔勒市| 尖扎县| 岑巩县| 临泉县| 改则县| 贵阳市| 西安市| 顺义区| 齐河县| 班玛县| 特克斯县| 东乌珠穆沁旗| 安陆市| 日喀则市| 洛南县| 手游| 乌兰察布市| 呼图壁县| 牙克石市| 方城县| 肥城市| 漳浦县| 南靖县| 日土县| 郑州市| 苏州市| 康保县| 宽甸| 安龙县| 樟树市| 裕民县| 津市市| 石家庄市| 澄迈县| 五寨县|