5 月 27 日消息,摩爾線程、無問芯穹今天聯合宣布,雙方已經正式完成基于國產全功能 GPU 千卡集群的 3B 規模大模型“MT-infini-3B”實訓,該模型基于摩爾線程國產全功能 GPU MTT S4000 組成的千卡集群,以及無問芯穹的 AIStudio PaaS 平臺打造。
據悉,這次的 MT-infini-3B 模型訓練總共用時 13.2 天,全程穩定無中斷,集群訓練穩定性達到 100%,千卡訓練和單機相比擴展效率超過 90%,號稱“充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業內率先開啟了國產大語言模型與國產 GPU 千卡智算集群深度合作的新范式”。
獲悉,實訓出來的 MT-infini-3B 性能在同規模模型中躋身前列,相比在國際主流硬件上訓練而成的其他模型,在 C-Eval、MMLU、CMMLU 等 3 個測試集上均實現性能領先。
無問芯穹聯合創始人兼 CEO 夏立雪表示,當前無問芯穹正在打造“M 種模型”和“N 種芯片”之間的“M x N”中間層產品,實現多種大模型算法在多元芯片上的高效、統一部署,已與摩爾線程達成深度戰略合作,而目前“MT-infini-3B”這一訓練成果是行業內首次實現基于國產 GPU 芯片從 0 到 1 的端到端大模型實訓案例。
本文鏈接:http://www.www897cc.com/showinfo-45-4458-0.html30 億參數“從 0 到 1”,摩爾線程 無問芯穹“千卡集群”行業內首次實現國產 GPU 端到端 AI 大模型實訓
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 五糧液濃香酒:勞動節送禮的精致藝術