雷克薩斯高管，“受賄”5000萬(wàn)？
來(lái)源：毒舌科技作者：潘磊雷克薩斯的高管，好像出事了。五六家日本小媒體，突然曝出了一個(gè)與中國(guó)市場(chǎng)有關(guān)的大新聞——雷克薩斯中國(guó)區(qū)一個(gè)高管受賄10億日元（約合人民幣5000
【新智元導(dǎo)讀】GPT-4o 發(fā)布不到一周，首個(gè)敢于挑戰(zhàn)王者的新模型誕生！最近，Meta 團(tuán)隊(duì)發(fā)布了「混合模態(tài)」Chameleon，可以在單一神經(jīng)網(wǎng)絡(luò)無(wú)縫處理文本和圖像。10 萬(wàn)億 token 訓(xùn)練的 34B 參數(shù)模型性能接近 GPT-4V，刷新 SOTA。
GPT-4o 的橫空出世，再次創(chuàng)立了一個(gè)多模態(tài)模型發(fā)展的新范式！為什么這么說(shuō)？
OpenAI 將其稱為「首個(gè)『原生』多模態(tài)」模型，意味著 GPT-4o 與以往所有的模型，都不盡相同。
傳統(tǒng)的多模態(tài)基礎(chǔ)模型，通常為每種模態(tài)采用特定的「編碼器」或「解碼器」，將不同的模態(tài)分離開。
然而，這種方法限制了模型，有效融合跨模態(tài)信息的能力。
官博介紹，GPT-4o 是「首個(gè)端到端」訓(xùn)練的，跨越文本、視覺和音頻的模型，所有的輸入和輸出，都由單個(gè)神經(jīng)網(wǎng)絡(luò)處理。
而現(xiàn)在，業(yè)界首個(gè)敢于挑戰(zhàn) GPT-4o 的模型現(xiàn)身了！
最近，來(lái)自 Meta 團(tuán)隊(duì)的研究人員發(fā)布了「混合模態(tài)基座模型」——Chameleon（變色龍）。
論文地址：https://arxiv.org/pdf/2405.09818
與 GPT-4o 一樣，Chameleon 采用了統(tǒng)一的 Transformer 架構(gòu)，使用文本、圖像和代碼混合模態(tài)完成訓(xùn)練。
以類似文本生成的方式，對(duì)圖像進(jìn)行離散「分詞化」（tokenization），最終生成和推理交錯(cuò)的文本和圖像序列。
這種「早期融合」的方法，所有的 pipeline 從一開始就被映射到一個(gè)共同的表示空間，因此模型可以無(wú)縫處理文本和圖像。
Chameleon 生成的多模態(tài)內(nèi)容
與此同時(shí)，這樣的設(shè)計(jì)，為模型訓(xùn)練帶來(lái)了重大的技術(shù)挑戰(zhàn)。
對(duì)此，Meta 研究團(tuán)隊(duì)引入了一系列架構(gòu)創(chuàng)新和訓(xùn)練技術(shù)。
結(jié)果表明，在純文本任務(wù)中，340 億參數(shù) Chameleon（用 10 萬(wàn)億多模態(tài) token 訓(xùn)練）的性能和 Gemini-Pro 相當(dāng)。
在視覺問(wèn)答和圖像標(biāo)注基準(zhǔn)上，刷新 SOTA，性能接近 GPT-4V。
不過(guò)，不論是 GPT-4o，還是 Chameleon，都是新一代「原生」端到端的多模態(tài)基礎(chǔ)模型早期探索。
GTC 2024 大會(huì)上，老黃描述了邁向 AGI 最終愿景的重要一步 —— 各種模態(tài)互通有無(wú)。
Chameleon 的發(fā)布，簡(jiǎn)直就是對(duì) GPT-4o 做出最快的反應(yīng)。
有網(wǎng)友表示，token 進(jìn)，token 出，簡(jiǎn)直無(wú)法去解釋。
甚至還有人稱，在 GPT-4o 誕生之后發(fā)布得非常扎實(shí)的研究，OOS 將迎頭趕上。
不過(guò)，目前 Chameleon 模型支持生成的模態(tài)，主要是圖像文本。缺少了 GPT-4o 中的語(yǔ)音能力。
網(wǎng)友稱，然后只需添加另一種模態(tài)（音頻），擴(kuò)大訓(xùn)練數(shù)據(jù)集，「烹飪」一段時(shí)間，我們就會(huì)得到 GPT-4o...?
Meta 的產(chǎn)品管理總監(jiān)稱，「我非常自豪能夠給予這個(gè)團(tuán)隊(duì)支持。讓我們朝著讓 GPT-4o 更接近開源社區(qū)的方向邁進(jìn)一步」。
或許用不了多久，我們就得到了一個(gè)開源版的 GPT-4o。
接下來(lái)，一起看看 Chameleon 模型的技術(shù)細(xì)節(jié)。
技術(shù)架構(gòu)Meta 在 Chameleon 的論文中首先表示：很多新近發(fā)布的模型依舊沒(méi)有將「多模態(tài)」貫徹到底。
這些模型雖然采用了端到端的訓(xùn)練方式，但仍然單獨(dú)對(duì)不同模態(tài)進(jìn)行建模，使用分開的編碼器或解碼器。
如開頭所述，這種做法限制了模型跨模態(tài)信息的能力，也難以生成包含任意形式信息的、真正的多模態(tài)文檔。
為了改進(jìn)這種缺陷，Meta 提出了一系列「混合模態(tài)」的基座模型 Chameleon—— 能夠生成文本和圖像內(nèi)容任意交織在一起的內(nèi)容。
Chameleon 的生成結(jié)果，文本和圖像交錯(cuò)出現(xiàn)
所謂「混合模態(tài)」基座模型，指 Chameleon 不僅使用了端到端的方式從頭開始訓(xùn)練，而且訓(xùn)練時(shí)將所有模態(tài)的信息交織混合在一起，并使用統(tǒng)一的架構(gòu)處理。
如何將所有模態(tài)的信息混合在同一個(gè)模型架構(gòu)中表示？
答案還是「token」。
只要全部表示為 token，就可以把所有模態(tài)的信息映射到同一個(gè)向量空間中，讓 Transformer 無(wú)縫處理。
但是，這種做法會(huì)帶來(lái)優(yōu)化穩(wěn)定性以及模型擴(kuò)展性方面的技術(shù)挑戰(zhàn)。
為了解決這些問(wèn)題，論文相應(yīng)地對(duì)模型架構(gòu)進(jìn)行創(chuàng)新，并使用了一些訓(xùn)練技巧，包括 QK 歸一化和 Zloss 等。
同時(shí)，論文也提出了將純文本 LLM 微調(diào)為多模態(tài)模型的方法。
圖像「分詞器」要將所有模態(tài)全部表示為 token，首先需要一個(gè)強(qiáng)大的分詞器。
為此，Chameleon 的團(tuán)隊(duì)在 Meta 之前一篇論文的基礎(chǔ)上開發(fā)了一種新的圖像分詞器，基于大小為 8192 的 codebook，將規(guī)格為 512×512 的圖像編碼為 1024 個(gè)離散的 token。
文字分詞器則基于谷歌開發(fā)的 sentencepiece 開源庫(kù)，訓(xùn)練了一個(gè)同時(shí)含有 65536 個(gè)文本 token 與 8192 個(gè)圖像 token 的 BPE 分詞器。
為了徹底激發(fā)「混合模態(tài)」的潛力，訓(xùn)練數(shù)據(jù)也是將不同模態(tài)打散、混合呈現(xiàn)給模型的，既有純文本、文本-圖像對(duì)，也有文本、圖像交錯(cuò)出現(xiàn)的多模態(tài)文檔。
純文本數(shù)據(jù)囊括了 Llama 2 和 CodeLlama 所使用的所有預(yù)訓(xùn)練數(shù)據(jù)，共計(jì) 2.9 萬(wàn)億個(gè) token。
文本-圖像對(duì)包含了一些公開數(shù)據(jù)，共計(jì) 14 億對(duì)、1.5 萬(wàn)億個(gè) token。
對(duì)于文本和圖像交錯(cuò)的數(shù)據(jù)，論文特意強(qiáng)調(diào)沒(méi)有包含來(lái)自 Meta 產(chǎn)品的數(shù)據(jù)，完全使用公開數(shù)據(jù)來(lái)源，整理出共 4000 億個(gè) token。
Chameleon 的預(yù)訓(xùn)練分兩個(gè)單獨(dú)的階段進(jìn)行，分別占總訓(xùn)練比例的 80% 和 20%。
訓(xùn)練的第一階段就是讓模型以無(wú)監(jiān)督的方式學(xué)習(xí)以上數(shù)據(jù)，第二階段開始時(shí)，先將第一階段得到的權(quán)重降低 50%，并混合更高質(zhì)量的數(shù)據(jù)讓模型繼續(xù)學(xué)習(xí)。
在模型擴(kuò)展到超過(guò) 8B 參數(shù)和 1T token 時(shí)，訓(xùn)練后期會(huì)產(chǎn)生明顯的不穩(wěn)定問(wèn)題。
由于所有模態(tài)共享模型權(quán)重，每個(gè)模態(tài)似乎都有增加 norm 的傾向，與其他模態(tài)「競(jìng)爭(zhēng)」。
這在訓(xùn)練初期不會(huì)產(chǎn)生太大的問(wèn)題，但隨著訓(xùn)練的進(jìn)行、數(shù)據(jù)超出 bf16 的表達(dá)范圍時(shí)，就會(huì)有 loss 發(fā)散的現(xiàn)象。
研究人員將其歸因于 softmax 函數(shù)所具有的平移不變性，這種現(xiàn)象在單模態(tài)模型中也被稱為「logit 漂移」（logit drift）。
因此，論文提出了一些架構(gòu)調(diào)整和優(yōu)化方法來(lái)保證穩(wěn)定性：
-QK 歸一化（query-key normalization）：將 layer norm 應(yīng)用于注意力模塊中的 query 和 key 向量，從而直接控制 softmax 層輸入的 norm 增長(zhǎng)。
-在注意力層和前饋層之后引入 dropout
-在損失函數(shù)中使用 Zloss 正則化
除了數(shù)據(jù)來(lái)源和架構(gòu)，論文還大方公開了預(yù)訓(xùn)練所用的算力規(guī)模。
硬件型號(hào)為 80GB 內(nèi)存的英偉達(dá) A100，7B 版本并行使用 1024 個(gè) GPU 訓(xùn)練了約 86 萬(wàn)個(gè) GPU 小時(shí)，34B 模型所用的 GPU 數(shù)量則擴(kuò)大了 3 倍，GPU 小時(shí)數(shù)超過(guò) 428 萬(wàn)。
作為曾經(jīng)開源 Llama 2 的公司，Meta 的研究團(tuán)隊(duì)確實(shí)大方，相比連技術(shù)報(bào)告都沒(méi)有的 GPT-4o，這篇有數(shù)據(jù)有干貨的論文可謂「仁至義盡」。
全面超越 Llama 2具體的實(shí)驗(yàn)評(píng)估中，研究人員將其分為人工評(píng)估和安全測(cè)試，以及基準(zhǔn)評(píng)估。
基準(zhǔn)評(píng)估Chameleon-34B 使用了比 Llama 2 多四倍的 token 進(jìn)行訓(xùn)練后，在各種單模態(tài)的基準(zhǔn)測(cè)試中都取得了驚艷的效果。
在純文本任務(wù)生成中，研究人員將預(yù)訓(xùn)練（非 SFT）模型的純文本功能與其他領(lǐng)先的純文本 LLM 進(jìn)行比較。
評(píng)估內(nèi)容包括，常識(shí)推理、閱讀理解、數(shù)學(xué)問(wèn)題和世界知識(shí)領(lǐng)域，評(píng)估結(jié)果如下表所示。
- 常識(shí)推理和閱讀理解
可以觀察到，與 Llama 2 相比，Chameleon-7B 和 Chameleon-34B 更具競(jìng)爭(zhēng)力。甚至，34B 甚至在 5/8 的任務(wù)上超過(guò)了 Llama-2 70B，性能與 Mixtral-8x7B 相當(dāng)。
- 數(shù)學(xué)和世界知識(shí)
盡管進(jìn)行了其他模態(tài)的訓(xùn)練，但兩個(gè) Chameleon 模型都表現(xiàn)出很強(qiáng)的數(shù)學(xué)能力。
在 GSM8k 上，Chameleon-7B 的表現(xiàn)優(yōu)于相應(yīng)參數(shù)規(guī)模的 Llama 2 模型，性能與 Mistral-7B 相當(dāng)。
此外，Chameleon-34B 在 maj@1（61.4 vs 56.8）和 Mixtral-8x7B 在 maj@32 （77.0 vs 75.1）上的表現(xiàn)均優(yōu)于 Llama 2-70B。
同樣，在數(shù)學(xué)運(yùn)算中，Chameleon-7B 的性能超過(guò) Llama 2，與 Mistral-7B 在 maj@4 上的性能相當(dāng)，而 Chameleon-34B 的性能超過(guò) Llama 2-70B，接近 Mixtral-8x7B 在 maj@4 上的性能（24.7 vs 28.4）。
總體而言，Chameleon 的性能全面超過(guò)了 Llama 2，在某些任務(wù)上接近 Mistral-7B / 8x7B。
在文本到圖像任務(wù)中，研究人員具體評(píng)測(cè)了視覺問(wèn)答、圖像標(biāo)注兩項(xiàng)具體任務(wù)。
Chameleon 在視覺問(wèn)答和圖像標(biāo)注任務(wù)中打敗 Flamingo 和 Llava-1.5 等模型成為 SOTA，在純文本任務(wù)中也和第一梯隊(duì)的 Mixtral 8x7B、Gemini Pro 等模型表現(xiàn)相當(dāng)。
同時(shí)，為了進(jìn)一步評(píng)估模型生成多模態(tài)內(nèi)容的質(zhì)量，論文也在基準(zhǔn)測(cè)試之外引入了人類評(píng)估實(shí)驗(yàn)，發(fā)現(xiàn) Chameleon-34B 的表現(xiàn)遠(yuǎn)遠(yuǎn)超過(guò)了 Gemini Pro 和 GPT-4V。
相對(duì)于 GPT-4V 和 Gemini Pro，人類評(píng)委分別打出了 51.6% 和 60.4 的偏好率。
下圖展示了，對(duì)于一組多樣化的、來(lái)自人類標(biāo)注者的 prompt，Chameleon 與基線模型在理解和生成內(nèi)容方面的性能對(duì)比。
其中的每個(gè)問(wèn)題，都由三個(gè)不同的人類標(biāo)注回答，并將多數(shù)票作為最終答案。
為了了解人類標(biāo)注者的質(zhì)量，以及問(wèn)題的設(shè)計(jì)是否合理，研究人員還檢查了不同標(biāo)注者之間的一致性程度。
表 5 是對(duì) 20,000 個(gè)眾包提示和 445 個(gè)紅隊(duì)交互進(jìn)行的安全測(cè)試，引發(fā)模型產(chǎn)生不安全內(nèi)容。
與 Gemini 和 GPT-4V 相比，Chameleon 在處理需要交錯(cuò)、混合模態(tài)響應(yīng)的提示時(shí)，非常有競(jìng)爭(zhēng)力。
從示例中可以看到，在完成問(wèn)答任務(wù)時(shí)，Chameleon 既能理解輸入的文本 + 圖像，也能為模型輸出內(nèi)容加上合適的「配圖」。
并且，Chameleon 生成的圖像通常與上下文相關(guān)，這樣一來(lái)，這種交錯(cuò)內(nèi)容的輸出對(duì)用戶來(lái)說(shuō)，極具吸引力。
論文最后，還放上了參與這項(xiàng)研究的貢獻(xiàn)者。
包括預(yù)訓(xùn)練、對(duì)齊和安全、推理和評(píng)估、所有項(xiàng)目的參與者。
其中，* 表示共同一作，?表示關(guān)鍵貢獻(xiàn)者，?表示工作流程負(fù)責(zé)人，?表示項(xiàng)目負(fù)責(zé)人。
參考資料：
https://the-decoder.com/metas-chameleon-ai-model-blends-text-and-images-hinting-at-a-future-gpt-4o-rival/
本文來(lái)自微信公眾號(hào)：新智元 （ID：AI_era）
本文鏈接：http://www.www897cc.com/showinfo-45-4337-0.htmlMeta 首發(fā)「變色龍」挑戰(zhàn) GPT-4o，34B 參數(shù)引領(lǐng)多模態(tài)革命！10 萬(wàn)億 token 訓(xùn)練刷新 SOTA
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)