8 月 29 日消息，Zyphra 于 8 月 27 日發(fā)布博文，宣布推出 Zamba2-mini 1.2B 模型，共有 12 億參數(shù)，聲稱是端側(cè) SOTA 小語言模型，在 4bit 量化下內(nèi)存占用低于 700MB。
注：SOTA全稱為 state-of-the-art，并不是特指某個(gè)具體的模型，而是指在該項(xiàng)研究任務(wù)中，目前最好 / 最先進(jìn)的模型。
Zamba2-mini 1.2B 雖然尺寸不大，但媲美包括谷歌 Gemma-2B、Huggingface 的 SmolLM-1.7B、蘋果的 OpenELM-1.1B 和微軟的 Phi-1.5 等更大模型。
在推理任務(wù)中，Zamba2-mini 的卓越性能尤為顯著，與 Phi3-3.8B 等模型相比，Zamba2-mini 的首次令牌時(shí)間（從輸入到輸出第一個(gè) token 的延遲）是此前的二分之一，內(nèi)存占用減少了 27%。
Zamba2-mini 1.2B 主要通過高度優(yōu)化的架構(gòu)實(shí)現(xiàn)，融合了不同神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的優(yōu)勢，既能保持大型密集變壓器的高質(zhì)量輸出，又能以更小模型的計(jì)算和內(nèi)存效率運(yùn)行。
與前代 Zamba1 相比，Zamba2-mini 的關(guān)鍵進(jìn)步之一是集成了兩個(gè)共享注意力層（attention layers）。
這種雙層方法增強(qiáng)了模型在不同深度保持信息的能力，從而提高了整體性能。在共享注意力層中加入旋轉(zhuǎn)位置嵌入也略微提高了性能，這表明 Zyphra 致力于在模型設(shè)計(jì)中進(jìn)行漸進(jìn)而有影響力的改進(jìn)。
Zamba2-mini 是在一個(gè)包含三萬億個(gè) token 的海量數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練的，該數(shù)據(jù)集來自 Zyda 和其他公開來源。
這個(gè)龐大的數(shù)據(jù)集經(jīng)過了嚴(yán)格的過濾和重復(fù)處理，以確保獲得最高質(zhì)量的訓(xùn)練數(shù)據(jù)，并在退火（annealing）階段對(duì)其進(jìn)一步完善，其中包括在 1000 億個(gè)質(zhì)量極高的 tokens 上進(jìn)行訓(xùn)練。
Zyphra 已承諾使 Zamba2-mini 成為 Apache 2.0 許可下的開源模型。
附上參考地址
Zyphra Unveils Zamba2-mini: A State-of-the-Art Small Language Model Redefining On-Device AI with Unmatched Efficiency and Performance
Model Card for Zamba2-1.2B
Zamba2-mini (1.2B)
本文鏈接：http://www.www897cc.com/showinfo-45-6537-0.html最強(qiáng)端側(cè)開源 AI 模型 Zamba2-mini 登場：12 億參數(shù)，4bit 量化下內(nèi)存占用小于 700MB
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 美年健康推出國內(nèi)首款健康管理 AI 機(jī)器人“健康小美”，與華為云、潤達(dá)醫(yī)療三方合作研發(fā)
下一篇： 中國科學(xué)院、阿里云發(fā)布首個(gè)月球?qū)I(yè)大模型，撞擊坑年代判別準(zhǔn)確率超 80%
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
