元宇宙的文旅賽道，還能如何發力？
來源：X增強現實蘋果推出Vision Pro，為XR行業注入一劑強心針。而在蘋果開發者大會上迪士尼CEO鮑勃·艾格在宣布迪士尼與蘋果達成合作，其Disney+流媒體服務將于Vision Pro
【新智元導讀】GPT-4o 發布不到一周，首個敢于挑戰王者的新模型誕生！最近，Meta 團隊發布了「混合模態」Chameleon，可以在單一神經網絡無縫處理文本和圖像。10 萬億 token 訓練的 34B 參數模型性能接近 GPT-4V，刷新 SOTA。
GPT-4o 的橫空出世，再次創立了一個多模態模型發展的新范式！為什么這么說？
OpenAI 將其稱為「首個『原生』多模態」模型，意味著 GPT-4o 與以往所有的模型，都不盡相同。
傳統的多模態基礎模型，通常為每種模態采用特定的「編碼器」或「解碼器」，將不同的模態分離開。
然而，這種方法限制了模型，有效融合跨模態信息的能力。
官博介紹，GPT-4o 是「首個端到端」訓練的，跨越文本、視覺和音頻的模型，所有的輸入和輸出，都由單個神經網絡處理。
而現在，業界首個敢于挑戰 GPT-4o 的模型現身了！
最近，來自 Meta 團隊的研究人員發布了「混合模態基座模型」——Chameleon（變色龍）。
論文地址：https://arxiv.org/pdf/2405.09818
與 GPT-4o 一樣，Chameleon 采用了統一的 Transformer 架構，使用文本、圖像和代碼混合模態完成訓練。
以類似文本生成的方式，對圖像進行離散「分詞化」（tokenization），最終生成和推理交錯的文本和圖像序列。
這種「早期融合」的方法，所有的 pipeline 從一開始就被映射到一個共同的表示空間，因此模型可以無縫處理文本和圖像。
Chameleon 生成的多模態內容
與此同時，這樣的設計，為模型訓練帶來了重大的技術挑戰。
對此，Meta 研究團隊引入了一系列架構創新和訓練技術。
結果表明，在純文本任務中，340 億參數 Chameleon（用 10 萬億多模態 token 訓練）的性能和 Gemini-Pro 相當。
在視覺問答和圖像標注基準上，刷新 SOTA，性能接近 GPT-4V。
不過，不論是 GPT-4o，還是 Chameleon，都是新一代「原生」端到端的多模態基礎模型早期探索。
GTC 2024 大會上，老黃描述了邁向 AGI 最終愿景的重要一步 —— 各種模態互通有無。
Chameleon 的發布，簡直就是對 GPT-4o 做出最快的反應。
有網友表示，token 進，token 出，簡直無法去解釋。
甚至還有人稱，在 GPT-4o 誕生之后發布得非常扎實的研究，OOS 將迎頭趕上。
不過，目前 Chameleon 模型支持生成的模態，主要是圖像文本。缺少了 GPT-4o 中的語音能力。
網友稱，然后只需添加另一種模態（音頻），擴大訓練數據集，「烹飪」一段時間，我們就會得到 GPT-4o...?
Meta 的產品管理總監稱，「我非常自豪能夠給予這個團隊支持。讓我們朝著讓 GPT-4o 更接近開源社區的方向邁進一步」。
或許用不了多久，我們就得到了一個開源版的 GPT-4o。
接下來，一起看看 Chameleon 模型的技術細節。
技術架構Meta 在 Chameleon 的論文中首先表示：很多新近發布的模型依舊沒有將「多模態」貫徹到底。
這些模型雖然采用了端到端的訓練方式，但仍然單獨對不同模態進行建模，使用分開的編碼器或解碼器。
如開頭所述，這種做法限制了模型跨模態信息的能力，也難以生成包含任意形式信息的、真正的多模態文檔。
為了改進這種缺陷，Meta 提出了一系列「混合模態」的基座模型 Chameleon—— 能夠生成文本和圖像內容任意交織在一起的內容。
Chameleon 的生成結果，文本和圖像交錯出現
所謂「混合模態」基座模型，指 Chameleon 不僅使用了端到端的方式從頭開始訓練，而且訓練時將所有模態的信息交織混合在一起，并使用統一的架構處理。
如何將所有模態的信息混合在同一個模型架構中表示？
答案還是「token」。
只要全部表示為 token，就可以把所有模態的信息映射到同一個向量空間中，讓 Transformer 無縫處理。
但是，這種做法會帶來優化穩定性以及模型擴展性方面的技術挑戰。
為了解決這些問題，論文相應地對模型架構進行創新，并使用了一些訓練技巧，包括 QK 歸一化和 Zloss 等。
同時，論文也提出了將純文本 LLM 微調為多模態模型的方法。
圖像「分詞器」要將所有模態全部表示為 token，首先需要一個強大的分詞器。
為此，Chameleon 的團隊在 Meta 之前一篇論文的基礎上開發了一種新的圖像分詞器，基于大小為 8192 的 codebook，將規格為 512×512 的圖像編碼為 1024 個離散的 token。
文字分詞器則基于谷歌開發的 sentencepiece 開源庫，訓練了一個同時含有 65536 個文本 token 與 8192 個圖像 token 的 BPE 分詞器。
為了徹底激發「混合模態」的潛力，訓練數據也是將不同模態打散、混合呈現給模型的，既有純文本、文本-圖像對，也有文本、圖像交錯出現的多模態文檔。
純文本數據囊括了 Llama 2 和 CodeLlama 所使用的所有預訓練數據，共計 2.9 萬億個 token。
文本-圖像對包含了一些公開數據，共計 14 億對、1.5 萬億個 token。
對于文本和圖像交錯的數據，論文特意強調沒有包含來自 Meta 產品的數據，完全使用公開數據來源，整理出共 4000 億個 token。
Chameleon 的預訓練分兩個單獨的階段進行，分別占總訓練比例的 80% 和 20%。
訓練的第一階段就是讓模型以無監督的方式學習以上數據，第二階段開始時，先將第一階段得到的權重降低 50%，并混合更高質量的數據讓模型繼續學習。
在模型擴展到超過 8B 參數和 1T token 時，訓練后期會產生明顯的不穩定問題。
由于所有模態共享模型權重，每個模態似乎都有增加 norm 的傾向，與其他模態「競爭」。
這在訓練初期不會產生太大的問題，但隨著訓練的進行、數據超出 bf16 的表達范圍時，就會有 loss 發散的現象。
研究人員將其歸因于 softmax 函數所具有的平移不變性，這種現象在單模態模型中也被稱為「logit 漂移」（logit drift）。
因此，論文提出了一些架構調整和優化方法來保證穩定性：
-QK 歸一化（query-key normalization）：將 layer norm 應用于注意力模塊中的 query 和 key 向量，從而直接控制 softmax 層輸入的 norm 增長。
-在注意力層和前饋層之后引入 dropout
-在損失函數中使用 Zloss 正則化
除了數據來源和架構，論文還大方公開了預訓練所用的算力規模。
硬件型號為 80GB 內存的英偉達 A100，7B 版本并行使用 1024 個 GPU 訓練了約 86 萬個 GPU 小時，34B 模型所用的 GPU 數量則擴大了 3 倍，GPU 小時數超過 428 萬。
作為曾經開源 Llama 2 的公司，Meta 的研究團隊確實大方，相比連技術報告都沒有的 GPT-4o，這篇有數據有干貨的論文可謂「仁至義盡」。
全面超越 Llama 2具體的實驗評估中，研究人員將其分為人工評估和安全測試，以及基準評估。
基準評估Chameleon-34B 使用了比 Llama 2 多四倍的 token 進行訓練后，在各種單模態的基準測試中都取得了驚艷的效果。
在純文本任務生成中，研究人員將預訓練（非 SFT）模型的純文本功能與其他領先的純文本 LLM 進行比較。
評估內容包括，常識推理、閱讀理解、數學問題和世界知識領域，評估結果如下表所示。
- 常識推理和閱讀理解
可以觀察到，與 Llama 2 相比，Chameleon-7B 和 Chameleon-34B 更具競爭力。甚至，34B 甚至在 5/8 的任務上超過了 Llama-2 70B，性能與 Mixtral-8x7B 相當。
- 數學和世界知識
盡管進行了其他模態的訓練，但兩個 Chameleon 模型都表現出很強的數學能力。
在 GSM8k 上，Chameleon-7B 的表現優于相應參數規模的 Llama 2 模型，性能與 Mistral-7B 相當。
此外，Chameleon-34B 在 maj@1（61.4 vs 56.8）和 Mixtral-8x7B 在 maj@32 （77.0 vs 75.1）上的表現均優于 Llama 2-70B。
同樣，在數學運算中，Chameleon-7B 的性能超過 Llama 2，與 Mistral-7B 在 maj@4 上的性能相當，而 Chameleon-34B 的性能超過 Llama 2-70B，接近 Mixtral-8x7B 在 maj@4 上的性能（24.7 vs 28.4）。
總體而言，Chameleon 的性能全面超過了 Llama 2，在某些任務上接近 Mistral-7B / 8x7B。
在文本到圖像任務中，研究人員具體評測了視覺問答、圖像標注兩項具體任務。
Chameleon 在視覺問答和圖像標注任務中打敗 Flamingo 和 Llava-1.5 等模型成為 SOTA，在純文本任務中也和第一梯隊的 Mixtral 8x7B、Gemini Pro 等模型表現相當。
同時，為了進一步評估模型生成多模態內容的質量，論文也在基準測試之外引入了人類評估實驗，發現 Chameleon-34B 的表現遠遠超過了 Gemini Pro 和 GPT-4V。
相對于 GPT-4V 和 Gemini Pro，人類評委分別打出了 51.6% 和 60.4 的偏好率。
下圖展示了，對于一組多樣化的、來自人類標注者的 prompt，Chameleon 與基線模型在理解和生成內容方面的性能對比。
其中的每個問題，都由三個不同的人類標注回答，并將多數票作為最終答案。
為了了解人類標注者的質量，以及問題的設計是否合理，研究人員還檢查了不同標注者之間的一致性程度。
表 5 是對 20,000 個眾包提示和 445 個紅隊交互進行的安全測試，引發模型產生不安全內容。
與 Gemini 和 GPT-4V 相比，Chameleon 在處理需要交錯、混合模態響應的提示時，非常有競爭力。
從示例中可以看到，在完成問答任務時，Chameleon 既能理解輸入的文本 + 圖像，也能為模型輸出內容加上合適的「配圖」。
并且，Chameleon 生成的圖像通常與上下文相關，這樣一來，這種交錯內容的輸出對用戶來說，極具吸引力。
論文最后，還放上了參與這項研究的貢獻者。
包括預訓練、對齊和安全、推理和評估、所有項目的參與者。
其中，* 表示共同一作，?表示關鍵貢獻者，?表示工作流程負責人，?表示項目負責人。
參考資料：
https://the-decoder.com/metas-chameleon-ai-model-blends-text-and-images-hinting-at-a-future-gpt-4o-rival/
本文來自微信公眾號：新智元 （ID：AI_era）
本文鏈接：http://www.www897cc.com/showinfo-45-4337-0.htmlMeta 首發「變色龍」挑戰 GPT-4o，34B 參數引領多模態革命！10 萬億 token 訓練刷新 SOTA
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號