元宇宙里賣酸奶，好炸裂的操作！
作者 | 李東陽(yáng) 來(lái)源 | 首席營(yíng)銷官有沒(méi)有發(fā)現(xiàn)，當(dāng)下的熱搜出現(xiàn)一個(gè)有意思的現(xiàn)象，那就是“情懷”不知不覺(jué)成為了主流，爺青回話題討論性非常高。前有名偵探柯南和優(yōu)衣庫(kù)
7 月 5 日消息，今天的 2024 世界人工智能大會(huì)（WAIC 2024）期間，面壁智能聯(lián)合創(chuàng)始人、首席科學(xué)家劉知遠(yuǎn)宣布，開(kāi)源主打高效低能耗的新一代“面壁小鋼炮”MiniCPM-S 模型，同時(shí)發(fā)布助力開(kāi)發(fā)者一鍵打造大模型 SuperApp 的全棧工具集 MobileCPM。
據(jù)介紹，面壁 2024 年發(fā)布了具備 GPT-3 同等性能但參數(shù)僅為 24 億的 MiniCPM-2.4B，知識(shí)密度提高了約 86 倍。面壁方面更稱，這“并不是極限”—— 其持續(xù)優(yōu)化 Scaling Law 使模型知識(shí)密度不斷提升，可不斷訓(xùn)練出計(jì)算更加高效、表現(xiàn)更強(qiáng)（參數(shù)規(guī)模降低，數(shù)值位寬降低，結(jié)構(gòu)更加高效）的基礎(chǔ)大模型。
而此次開(kāi)源的 MiniCPM-S 采用“稀疏激活”在同等參數(shù)下減少大模型的推理能耗，稀疏度越高，每個(gè)詞元（token）激活的神經(jīng)元越少，大模型的推理成本和能耗就越少。
MiniCPM-S 1.2B 采用了高度稀疏架構(gòu)，通過(guò)將激活函數(shù)替換為 ReLU 及通過(guò)帶漸進(jìn)約束的稀疏感知訓(xùn)練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。
官方還表示，和同規(guī)模的稠密模型 MiniCPM 1.2B 相比，MiniCPM-S 1.2 具備如下特征：
Sparse-高稀疏低能耗：在 FFN 層實(shí)現(xiàn)了高達(dá) 87.89% 平均稀疏度，推理算力下降 84%；
Speed-神仙推理：更少計(jì)算，迅疾響應(yīng)。純CPU環(huán)境下，結(jié)合 Powerinfer 推理框架，推理解碼速度提升約 2.8 倍；
Strong-無(wú)損強(qiáng)大性能：更少計(jì)算量，無(wú)損下游任務(wù)性能。
MobileCPM 已經(jīng)支持 iOS 系統(tǒng)，安卓版本也即將上線。附：開(kāi)源地址、TestFlight 外測(cè)地址。
本文鏈接：http://www.www897cc.com/showinfo-45-5022-0.html面壁智能開(kāi)源“小鋼炮”MiniCPM-S AI 模型，主打高效低能耗
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 智譜發(fā)布并開(kāi)源代碼生成大模型 CodeGeeX 第四代，號(hào)稱百億以下規(guī)模性能最強(qiáng)
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)