新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
7 月 5 日消息，今天的 2024 世界人工智能大會（WAIC 2024）期間，面壁智能聯合創始人、首席科學家劉知遠宣布，開源主打高效低能耗的新一代“面壁小鋼炮”MiniCPM-S 模型，同時發布助力開發者一鍵打造大模型 SuperApp 的全棧工具集 MobileCPM。
據介紹，面壁 2024 年發布了具備 GPT-3 同等性能但參數僅為 24 億的 MiniCPM-2.4B，知識密度提高了約 86 倍。面壁方面更稱，這“并不是極限”—— 其持續優化 Scaling Law 使模型知識密度不斷提升，可不斷訓練出計算更加高效、表現更強（參數規模降低，數值位寬降低，結構更加高效）的基礎大模型。
而此次開源的 MiniCPM-S 采用“稀疏激活”在同等參數下減少大模型的推理能耗，稀疏度越高，每個詞元（token）激活的神經元越少，大模型的推理成本和能耗就越少。
MiniCPM-S 1.2B 采用了高度稀疏架構，通過將激活函數替換為 ReLU 及通過帶漸進約束的稀疏感知訓練，巧妙地解決了此前主流大模型在稀疏激活上面臨的困境。
官方還表示，和同規模的稠密模型 MiniCPM 1.2B 相比，MiniCPM-S 1.2 具備如下特征：
Sparse-高稀疏低能耗：在 FFN 層實現了高達 87.89% 平均稀疏度，推理算力下降 84%；
Speed-神仙推理：更少計算，迅疾響應。純CPU環境下，結合 Powerinfer 推理框架，推理解碼速度提升約 2.8 倍；
Strong-無損強大性能：更少計算量，無損下游任務性能。
MobileCPM 已經支持 iOS 系統，安卓版本也即將上線。附：開源地址、TestFlight 外測地址。
本文鏈接：http://www.www897cc.com/showinfo-45-5022-0.html面壁智能開源“小鋼炮”MiniCPM-S AI 模型，主打高效低能耗
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號