快科技6月30日消息,華為今日正式宣布開源盤古70億參數的稠密模型、盤古Pro MoE 720億參數的混合專家模型和基于昇騰的模型推理技術。
華為表示:“此舉是華為踐行昇騰生態戰略的又一關鍵舉措,推動大模型技術的研究與創新發展,加速推進人工智能在千行百業的應用與價值創造。”
根據華為官網顯示:
盤古Pro MoE 72B模型權重、基礎推理代碼,已正式上線開源平臺。
基于昇騰的超大規模MoE模型推理代碼,已正式上線開源平臺。
盤古7B相關模型權重與推理代碼將于近期上線開源平臺。
據悉,基于MoGE架構構建的盤古Pro MoE大模型(72B總參數、16B激活參數)在昇騰300I Duo和800I A2可實現更優的專家負載分布與計算效率(321 tokens/s和1528 tokens/s)。
而在模型能力方面,盤古Pro MoE在新一期業界權威大模型榜單SuperCLUE上交出了超能打的成績。
和其他動輒千億以上的大模型相比,如DeepSeek-R1具有671B參數,盤古Pro MoE以72B總參數量達到了59分,千億參數量以內大模型排行并列國內第一。
并且,16B激活參數量可以媲美其他廠商更大規模的模型。
本文鏈接:http://www.www897cc.com/showinfo-22-165454-0.html華為宣布開源盤古7B稠密和72B混合專家模型
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com