內(nèi)容行業(yè)大變天，爆款全靠AI？
出品 | 微果醬（wjam123456）作者 | 陳出木題圖 | 文心一格 AI的發(fā)展之快出乎所有人的預料，似乎一夜之間便呼嘯而來。無論是資本的風向標，抑或是生活工作的輔助、流量口，還是茶余飯
2 月 27 日消息，在 DeepSeek 開源周第四日，摩爾線程宣布已成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe，并發(fā)布相關開源代碼倉庫：MT-DeepEP 和 MT-DualPipe。
據(jù)介紹，DeepEP 是一個用于 MoE（混合專家）模型訓練和推理的開源 EP（expert parallelism，專家并行）通信庫，主要適用于大模型訓練，特別是需要 EP 的集群訓練。它通過優(yōu)化通信信道的使用率，提升了訓練效率。摩爾線程基于 MUSA Compute Capability 3.1 全功能 GPU 適配了 DeepEP，并支持以下特性：
高效優(yōu)化的 All-to-All 通信，支持 dispatch & combine
支持 MTLink + GPU（MUSA Compute Capability 3.1）節(jié)點內(nèi)通信
訓練及推理預填充階段的高吞吐量計算核心
推理解碼階段的低延遲計算核心
原生支持 FP8 數(shù)據(jù)分發(fā)
靈活控制 GPU 資源，實現(xiàn)計算與通信的高效重疊
DualPipe 是 DeepSeek-V3 提出的雙向流水線并行算法，通過前向計算與后向計算階段的計算與通信完全重疊，減少了“流水線氣泡”（設備空閑等待）。摩爾線程依托深度學習框架 Torch-MUSA（已開源）和 MUSA 軟件棧全方位的兼容性，實現(xiàn)了對 DualPipe 這一算法的支持。
目前，MT-DualPipe 可以完整接入摩爾線程 MT-Megatron 框架和 MT-TransformerEngine 框架（即將開源），實現(xiàn) DeepSeek V3 訓練流程完整復現(xiàn)。此外，MT-DualPipe 結合 MT-Megatron 可實現(xiàn)完整 DeepSeek V3 模型 MLP-FFN 分離以及 DW-DG 分離，進一步降低氣泡占比，優(yōu)化通信效率。同時，MT-DualPipe 與 MT-TranformerEngine 和 MT-DeepEP 的結合，可利用 MT-DeepEP 和異步通信引擎實現(xiàn)更高效的通信掩蓋，降低對計算資源損耗。
附 Torch-MUSA 開源地址如下：
https://github.com/MooreThreads/Torch_MUSA
相關閱讀：
《DeepSeek 開源進度 4/5：DualPipe、EPLB 優(yōu)化并行策略》
《DeepSeek 開源進度 3/5：深度學習利器 DeepGEMM》
《DeepSeek 開源進度 2/5：首個用于 MoE 模型訓練和推理的 EP 通信庫 DeepEP》
《DeepSeek 代碼庫開源進度 1/5：為 Hopper GPU 優(yōu)化的高效 MLA 解碼內(nèi)核 FlashMLA》
本文鏈接：http://www.www897cc.com/showinfo-45-11260-0.html摩爾線程成功支持 DeepSeek 開源通信庫 DeepEP 和并行算法 DualPipe
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號