6 月 12 日消息,面壁智能于本月 6 日晚發布端側大模型 MiniCPM 4.0。面壁智能官方今日發文稱,面壁 MiniCPM 4 與 Intel 全面適配,結合英特爾加速套件與 KV Cache 內存增強技術,實現 AI PC 2.2 倍長文本推理優化,端側 AI PC 在 Day 0 全面適配,128K 長上下文窗口等多方面突破。
據介紹,此次面壁推出的 MiniCPM 4.0 系列 LLM 模型擁有 8B、0.5B 兩種參數規模,針對單一架構難以兼顧長、短文本不同場景的技術難題,MiniCPM 4.0-8B 采用「高效雙頻換擋」機制,能夠根據任務特征自動切換注意力模式:在處理高難度的長文本、深度思考任務時,啟用稀疏注意力以降低計算復雜度,在短文本場景下切換至稠密注意力以確保精度,實現了長、短文本切換的高效響應。
目前,具有 CPU、GPU、NPU 三個 AI 運算引擎的英特爾酷睿 Ultra 處理器已對此適配,并借助 OpenVINO工具套件為 MiniCPM 4.0 系列模型提供優化的卓越性能表現。英特爾再次在 NPU 上對模型發布提供第零日(Day 0)支持,為不同參數量模型和應用場景提供更多樣化的、更有針對性的平臺支持。
據了解,MiniCPM 4.0 可在 vLLM、SGLang、LlamaFactory、XTuner 等開源框架部署。其內置自研 CPM.cu 極速端側推理框架,從投機采樣創新、模型壓縮量化創新、端側部署框架創新幾方面,帶來 90% 的模型瘦身和速度提升,官方宣稱將實現端側推理“從天生到終生”的絲滑。
本文鏈接:http://www.www897cc.com/showinfo-45-13809-0.html面壁智能 MiniCPM 4 與 Intel 全面適配,實現 AI PC 2.2 倍長文本推理優化
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 國內首個:中國天氣智能體臺風頻道上線,自動推送臺風預警
下一篇: AMD Advancing AI 2025 大會如期而至:重磅發布 Instinct MI350 系列 GPU 產品,推理性能提升達 35 倍