2 月 25 日消息，DeepSeek 的“開源周”活動今日已經(jīng)來到第二天，今天發(fā)布的是首個開源的用于 MoE 模型訓練和推理的 EP 通信庫 ——DeepEP。f9628資訊網(wǎng)——每日最新資訊28at.com

附開源地址：https://github.com/deepseek-ai/DeepEPf9628資訊網(wǎng)——每日最新資訊28at.com

f9628資訊網(wǎng)——每日最新資訊28at.com

官方表示其具備如下特征：f9628資訊網(wǎng)——每日最新資訊28at.com

高效優(yōu)化的全到全通信方式f9628資訊網(wǎng)——每日最新資訊28at.com

支持節(jié)點內(nèi)外通信，兼容 NVLink 和 RDMA 技術f9628資訊網(wǎng)——每日最新資訊28at.com

提供高吞吐量的內(nèi)核，提升訓練和推理前期填充效率f9628資訊網(wǎng)——每日最新資訊28at.com

提供低延遲內(nèi)核，優(yōu)化推理解碼速度f9628資訊網(wǎng)——每日最新資訊28at.com

完全支持 FP8 數(shù)據(jù)格式調(diào)度f9628資訊網(wǎng)——每日最新資訊28at.com

提供靈活的 GPU 資源管理，支持計算與通信的重疊執(zhí)行f9628資訊網(wǎng)——每日最新資訊28at.com

詳細介紹的大意如下：f9628資訊網(wǎng)——每日最新資訊28at.com

DeepEP 是一款專為混合專家（MoE）和專家并行（EP）設計的通信庫，提供了高吞吐量和低延遲的 all-to-all GPU 內(nèi)核，常用于 MoE 派發(fā)和合并操作。該庫還支持低精度計算，包括 FP8。f9628資訊網(wǎng)——每日最新資訊28at.com

為了與 DeepSeek-V3 論文中提出的組限制門控算法兼容，DeepEP 提供了一些針對不對稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核，比如將數(shù)據(jù)從 NVLink 域轉(zhuǎn)發(fā)到 RDMA 域。這些優(yōu)化的內(nèi)核能夠提供高吞吐量，適合用于訓練和推理的預填充任務，同時支持 SM（流式多處理器）數(shù)量控制。f9628資訊網(wǎng)——每日最新資訊28at.com

對于延遲敏感型的推理解碼任務，DeepEP 提供了一套低延遲內(nèi)核，采用純 RDMA 技術以最大程度減少延遲。此外，該庫還采用了一種基于 Hook 的通信與計算重疊方法，不會占用任何 SM 資源。f9628資訊網(wǎng)——每日最新資訊28at.com

需求：f9628資訊網(wǎng)——每日最新資訊28at.com

Hopper GPUs (may support more architectures or devices later)f9628資訊網(wǎng)——每日最新資訊28at.com

Python 3.8 及以上版本f9628資訊網(wǎng)——每日最新資訊28at.com

CUDA 12.3 及以上版本f9628資訊網(wǎng)——每日最新資訊28at.com

PyTorch 2.1 及以上版本f9628資訊網(wǎng)——每日最新資訊28at.com

使用 NVLink 進行節(jié)點間通信f9628資訊網(wǎng)——每日最新資訊28at.com

基于 RDMA 網(wǎng)絡的節(jié)點間通信f9628資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-11125-0.htmlDeepSeek 開源進度 2 5：首個用于 MoE 模型訓練和推理的 EP 通信庫 DeepEP

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 上海明星 AI 公司“瀾碼科技”曝“員工停薪社保停繳”，創(chuàng)始人周健回應稱“借錢賣房補償，正尋求被并購的可能性”

下一篇： 阿里 Qwen Chat 平臺上線“深度思考”功能：基于 QwQ-Max-Preview 推理模型，支持聯(lián)網(wǎng)搜索