中國科學(xué)院自動化研究所李國齊、徐波團隊聯(lián)合沐曦metaX公司,成功研發(fā)出全球首款全流程國產(chǎn)化的類腦脈沖大模型——“瞬悉1.0”(SpikingBrain-1.0)。該模型基于團隊提出的原創(chuàng)內(nèi)生復(fù)雜性理論,在國產(chǎn)千卡GPU算力平臺上完成從訓(xùn)練到推理的全流程開發(fā),顯著提升了超長序列推理的效率與速度,為構(gòu)建自主可控的新型非Transformer架構(gòu)大模型生態(tài)奠定了基礎(chǔ)。
研發(fā)團隊從大腦神經(jīng)元的工作機制中汲取靈感,提出了“基于內(nèi)生復(fù)雜性”的大模型架構(gòu)方法。通過理論創(chuàng)新,團隊建立了脈沖神經(jīng)元內(nèi)生動力學(xué)與線性注意力模型之間的關(guān)聯(lián),指出傳統(tǒng)線性注意力機制本質(zhì)上是樹突計算的簡化形式。這一發(fā)現(xiàn)為提升模型復(fù)雜度與性能提供了新方向。基于此,團隊開發(fā)了兩種規(guī)模的類腦基礎(chǔ)模型:7B參數(shù)的線性復(fù)雜度模型和76B參數(shù)的混合線性復(fù)雜度模型(激活參數(shù)量達(dá)12B),并同步開源了代碼與測試平臺,同時發(fā)布了中英文技術(shù)報告。
為適配國產(chǎn)硬件環(huán)境,團隊針對沐曦metaX曦云C550 GPU集群,開發(fā)了高效訓(xùn)練與推理框架,涵蓋Triton算子庫優(yōu)化、模型并行策略設(shè)計以及集群通信協(xié)議定制。這一系列技術(shù)突破使模型在國產(chǎn)算力平臺上實現(xiàn)了性能與效率的雙重提升。

團隊負(fù)責(zé)人李國齊指出,該成果不僅標(biāo)志著我國在類腦計算與大模型融合領(lǐng)域取得關(guān)鍵進展,更為法律、醫(yī)療、科學(xué)模擬等需要處理超長序列數(shù)據(jù)的領(lǐng)域提供了高效建模工具。這一研究或為下一代神經(jīng)形態(tài)計算理論與芯片設(shè)計提供新的理論支撐。
本文鏈接:http://www.www897cc.com/showinfo-24-181308-0.html全球首款類腦脈沖大模型“瞬悉1.0”誕生,全流程國產(chǎn)化引領(lǐng)類腦計算新突破
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: IFA2025大會上AGM推出三防新機,10000mAh大電池搭配18W無線充電引關(guān)注
下一篇: 小米16 Pro真機現(xiàn)身引熱議,魅族22定檔9·15,vivo X300 Pro邊框更窄預(yù)熱中