搶先推出“元宇宙”飲料，可口可樂贏麻了
試圖傍上元宇宙的品牌千千萬，但像可口可樂玩得這么花的，屬實(shí)不多。01 可口可樂盯上元宇宙1886年，可口可樂誕生于美國(guó)喬治亞州亞特蘭大市，至今已擁有136年的悠久歷
Mistral 7B 誕生一周年之際，法國(guó) AI 初創(chuàng)公司 Mistral 再次連發(fā)兩個(gè)輕量級(jí)模型 Ministral 3B 和 Ministral 8B，性能趕超 Llama 3 8B。
Mistral 7B 僅僅發(fā)布一周年，法國(guó) AI 初創(chuàng)小模型「les Ministraux」就打敗它了。它堪稱是，世界上最好的邊緣模型。
Ministral 3B 和 Ministral 8B 這兩款輕量級(jí)模型，專為邊緣設(shè)備打造。截至目前，它們正式加入 Mixtral、Pixtral、Codestral、Mathstral 行列，成為 Mistral 一員。
別看僅有 30 億參數(shù)，在指令跟隨基準(zhǔn)上，完全超越了 Llama 3 8B，以及前輩模型 Mistral 7B。而且 Ministral 3B 和 Ministral 8B 在大模型競(jìng)技場(chǎng)中的測(cè)試，均拿下了媲美 Gemma 2、Llama 3.1 開源模型的成績(jī)。
Ministral 3B 和 Ministral 8B 都支持高達(dá) 128k 上下文（目前在 vLLM 上為 32k）。
在知識(shí)、常識(shí)、推理、函數(shù)調(diào)用、效率等方面，為低于 10B 參數(shù)模型設(shè)立了新標(biāo)桿。
而且，Ministral 8B 還有配備了滑動(dòng)窗口注意機(jī)制（sliding-window attention），以實(shí)現(xiàn)更快和內(nèi)存高效的推理。
不論是管理復(fù)雜的 AI 智能體工作流，還是創(chuàng)建專門的任務(wù)助手，它們均可以被微調(diào)到各種用例中。
研究人員在多項(xiàng)基準(zhǔn)測(cè)試中，評(píng)估了 Les Minimrau 的性能。
其中包括知識(shí)與常識(shí)、代碼、數(shù)學(xué)、多語言四大方面。
預(yù)訓(xùn)練模型如下圖所示，與 Gema 2 2B、Llama 3.2 3B 相比較，Minstral 3B 在以上基準(zhǔn)上，取得了最優(yōu)成績(jī)。
在與 Llama 3.1 8B、Mistral 7B 相比較過程中，僅有代碼能力，Minstral 8B 還有些差距，其余放方面均是性能最高的模型。
如下是，更加直觀可視化柱狀圖，Minstral 8B 在各項(xiàng)評(píng)測(cè)中，占據(jù)首位。
再來看微調(diào)后的指令模型，性能比較的結(jié)果。
在大模型競(jìng)技場(chǎng)中，Minstral 3B 在不同基準(zhǔn)上，實(shí)現(xiàn)了最優(yōu)。Minstral 8B 僅在 Wild bench 上，略遜于 Gema 2 9B。
另外，在代碼、數(shù)學(xué)、函數(shù)調(diào)用方面，兩款新模型性能大幅超越其余模型。
下圖，可以直觀看出指令微調(diào)后的 Minstral 3B 比更大的 Mistral 7B 的改進(jìn)。
如下是指令微調(diào)后的 Minstral 8B 模型，與其他模型的性能對(duì)比直觀圖。
如今，大模型在實(shí)際落地中，不如小模型來的更切實(shí)際。越來越多的用戶，希望對(duì)關(guān)鍵應(yīng)用程序能夠進(jìn)行本地優(yōu)先推理，比如設(shè)備上翻譯、不用聯(lián)網(wǎng)智能助理，自動(dòng)機(jī)器人等等。
正如官博所述，Les Minimraux 正為這些場(chǎng)景，提供了高計(jì)算效率、低延遲的解決方案。
當(dāng)與 Mistral Large 等更大的模型結(jié)合使用時(shí)，les Ministraux 還可以作為多步智能體工作流中，進(jìn)行函數(shù)調(diào)用的高效中介。
通過微調(diào)，它們能以極低的延遲和成本基于用戶意圖，跨多個(gè)上下文處理輸入解析、任務(wù)路由和調(diào)用 API。
價(jià)格根據(jù)官方公布的價(jià)格所示，Minstral 8B 輸入輸出價(jià)格為百萬 token，0.1 美元。Minstral 3B 則為百萬 token0.04 美元。
自去年成立以來，Mistral 曾以磁力鏈方式開源了多款媲美 OpenAI 的模型，一路走紅得到 AI 社區(qū)的認(rèn)可。
這家總部位于巴黎的 Mistral，由 Meta、谷歌 DeepMind 前員工創(chuàng)立。
幾個(gè)月前，它以 60 億美金估值，完成 6.4 億美元新一輪融資，并隨之推出了一款 GPT-4 級(jí)別的模型 ——Mistral Large 2。
此外，他們?cè)诮衲辏€推出了一個(gè)專家混合模型 Mixtral 8x22B。
它包含了一個(gè)編碼模型 Codestral，以及一個(gè)數(shù)學(xué)推理和科學(xué)發(fā)現(xiàn)的模型。
不過，今年這家明星公司陷入了巨大爭(zhēng)議，因?yàn)樗兊貌辉倌敲?open。
年初，有消息爆料稱，微軟宣布將收購(gòu) Mistral 一些股份，并對(duì)其投資，意味著它的模型將在 Azure AI 進(jìn)行托管。
甚至，還有 Reddit 網(wǎng)友發(fā)現(xiàn)，Mistral 已從官網(wǎng)中，移除了致力于開源的承諾。
在一些模型的調(diào)用上，Mistral 也開啟了收費(fèi)模式，包括這次同樣如此。
有網(wǎng)友就此吐槽，不是開源的。
要知道，對(duì)于一家初創(chuàng)公司來說，一直堅(jiān)持開源代碼是一個(gè)巨大的挑戰(zhàn)。就比如反面教材 Stability AI，完全放棄了開源的商業(yè)模式，也轉(zhuǎn)向了收費(fèi)策略。
對(duì)于 Mistral 也是如此，若要持續(xù)打造優(yōu)秀的模型，只有這一種選擇。
參考資料：
https://x.com/dchaplot/status/1846575384718172448
https://x.com/GuillaumeLample/status/1846566817650679966
本文鏈接：http://www.www897cc.com/showinfo-45-9255-0.html開源版 OpenAI 再出神作：小模型吊打 Meta Llama 3，Ministral 系列開啟邊緣 AI 革命
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)