在近期舉辦的2025智源大會(huì)上,面壁智能這家北京的大模型創(chuàng)新企業(yè),推出了其開(kāi)源模型MiniCPM 4.0的兩個(gè)新版本,分別為0.5B和8B,內(nèi)部代號(hào)“前進(jìn)四”。這一發(fā)布引起了業(yè)內(nèi)廣泛關(guān)注。
據(jù)悉,MiniCPM4-0.5B的訓(xùn)練成本僅為Qwen3-0.6B的2.7%,卻以一半的參數(shù)量實(shí)現(xiàn)了性能翻倍,綜合得分平均分高達(dá)52.06分,遠(yuǎn)超同類模型。更為出色的是,面壁智能還推出了一個(gè)0.5B的三級(jí)量化版本,平均得分更是達(dá)到了56分,這一成績(jī)實(shí)屬不易。
而MiniCPM4-8B的表現(xiàn)同樣令人矚目。其訓(xùn)練開(kāi)銷僅為22%,并加入了長(zhǎng)上下文稀疏化版本,使得同等參數(shù)下性能更強(qiáng)。在同類端側(cè)模型排行榜中,MiniCPM4-8B的綜合得分甚至超越了Gemma3-12B,與Qwen3-8B比肩,位居榜首。
面壁智能CEO李大海在會(huì)上表示,MiniCPM4模型的最大特點(diǎn)就是速度快。在處理極端場(chǎng)景下的140K上下文時(shí),需要極大的端側(cè)內(nèi)存。而在Jetson Orin AGX(64G)或RTX 4090(24G)硬件上運(yùn)行128K長(zhǎng)文本時(shí),像Qwen3-8B這樣未進(jìn)行上下文稀疏化的模型,顯存往往不夠用,需要借助CPU內(nèi)存,這會(huì)導(dǎo)致速度急劇下降。而MiniCPM4-8B則通過(guò)快速稀疏化工作,將占用的低長(zhǎng)文本緩存降至1/4,在常規(guī)場(chǎng)景中至少可以取得3-5倍的速度優(yōu)勢(shì)。
李大海進(jìn)一步透露,在顯存受限的極限場(chǎng)景中,MiniCPM4的測(cè)試數(shù)據(jù)甚至可以達(dá)到220倍的速度提升。面壁智能的MiniCPM4-MCP模型在端側(cè)利用MCP協(xié)議,支持15個(gè)主流應(yīng)用,綜合評(píng)測(cè)表現(xiàn)得分頗高。而另一個(gè)MiniCPM4-Survey端側(cè)版則可在AI PC上構(gòu)建深度研究服務(wù),成為離線可用的隨身研究報(bào)告工具,有助于保護(hù)本地隱私數(shù)據(jù)。
值得注意的是,面壁智能與英特爾緊密合作,首次在端側(cè)解鎖了128K長(zhǎng)上下文窗口。在英特爾平臺(tái)上,基于InfLLM 2.0稀疏注意力結(jié)構(gòu),實(shí)現(xiàn)了3.8倍加速的推理優(yōu)化效果。同時(shí),MiniCPM4已經(jīng)可以在華為昇騰、聯(lián)發(fā)科、高通等主流芯片上流暢運(yùn)行,并支持vLLM、AutoGPT等推理框架,歐拉版也正在積極適配中。
那么,面壁智能是如何實(shí)現(xiàn)MiniCPM4又快又好的表現(xiàn)的呢?李大海分享了背后的技術(shù)細(xì)節(jié)。他提到,這是行業(yè)首個(gè)全開(kāi)源系統(tǒng)級(jí)上下級(jí)稀疏化高效創(chuàng)新。MiniCPM4采用了InfLLM 2.0混合稀疏注意力結(jié)構(gòu),通過(guò)分塊分區(qū)域處理文本,只對(duì)最具相關(guān)性的重點(diǎn)區(qū)域進(jìn)行注意力計(jì)算,從而大大提高了效率。同時(shí),面壁智能還創(chuàng)新地采用了高效的自動(dòng)雙頻換擋技術(shù),長(zhǎng)文本用稀疏方案,短文本用稠密方案,進(jìn)一步提升了性能。
在推理方面,面壁智能自研了全套端側(cè)高性能推理框架,包括實(shí)現(xiàn)稀疏、投機(jī)和量化的高效結(jié)合的CPM.cu,極致低位寬量化的BitCPM,以及面向多平臺(tái)端側(cè)芯片極致優(yōu)化的Arkinfer。這些創(chuàng)新使得MiniCPM4在端側(cè)的表現(xiàn)更加出色。
本文鏈接:http://www.www897cc.com/showinfo-45-13565-0.html面壁智能MiniCPM4:端側(cè)模型極限提速,8B性能超12B競(jìng)品引關(guān)注
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com