3 月 24 日消息，據證券時報報道，近日，螞蟻集團 Ling 團隊在預印版 Arxiv 平臺發表技術成果論文《每一個 FLOP 都至關重要：無需高級 GPU 即可擴展 3000 億參數混合專家 LING 大模型》，宣布推出兩款不同規模的 MoE （混合專家）大語言模型 —— 百靈輕量版（Ling-Lite）與百靈增強版（Ling-Plus），并提出一系列創新方法，實現在低性能硬件上高效訓練大模型，顯著降低成本。gVC28資訊網——每日最新資訊28at.com

據了解，百靈輕量版參數規模為 168 億（激活參數 27.5 億），增強版基座模型參數規模高達 2900 億（激活參數 288 億），性能均達行業領先水平。實驗表明，其 3000 億參數的 MoE 大模型可在使用國產 GPU 的低性能設備上完成高效訓練，性能與完全使用英偉達芯片、同規模的稠密模型及 MoE 模型相當。gVC28資訊網——每日最新資訊28at.com

當前，MoE 模型訓練通常依賴英偉達 H100 / H800 等高性能 GPU，成本高昂且芯片短缺，限制了其在資源受限環境中的應用。螞蟻集團 Ling 團隊提出“不使用高級 GPU”擴展模型的目標，通過創新訓練策略，突破資源與預算限制。具體策略包括：架構與訓練策略革新，采用動態參數分配與混合精度調度技術；升級訓練異常處理機制，自適應容錯恢復系統縮短中斷響應時間；優化模型評估流程，自動化評測框架壓縮驗證周期超 50%；突破工具調用能力，基于知識圖譜的指令微調提升復雜任務執行精度。gVC28資訊網——每日最新資訊28at.com

在五種不同硬件配置下，Ling 團隊對 9 萬億個 token 進行 Ling-Plus 預訓練。結果顯示，使用高性能硬件配置訓練 1 萬億 token 的預訓練成本約 635 萬元人民幣，而采用螞蟻優化方法后，低規格硬件訓練成本降至 508 萬元左右，節省近 20%，且性能與阿里通義 Qwen2.5-72B-Instruct 和 DeepSeek-V2.5-1210-Chat 相當。gVC28資訊網——每日最新資訊28at.com

此前，DeepSeek 通過算法創新及工程優化，使用英偉達 H800 訓練出性能頂尖的 V3 與 R1 模型，為降低成本、提高效率開辟新道路。螞蟻集團的技術成果若得到驗證推廣，將助力國產大模型尋找成本更低、效率更高的國產芯片或其他替代方案，進一步降低對英偉達芯片的依賴。gVC28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-11664-0.html螞蟻集團推出兩款 MoE 大模型，用國產芯片訓練成本顯著降低

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 海洋領域首個業務化垂直領域大語言模型“瀚海智語”發布：基于 360 智腦和 DeepSeek 開發

下一篇： 不用寫代碼：百度全量上線國內首個對話式應用開發平臺“秒噠”