企業熱、用戶冷，元宇宙第一站將是“營銷場”？
如果說2021年底什么最火熱，那元宇宙當之無愧。“萬物皆可元宇宙”似乎成為新的流行語，在廣告中也常常聽到“社交元宇宙”“購物元宇宙”等等。就在近日，有消息傳
2 月 25 日消息，DeepSeek 的“開源周”活動今日已經來到第二天，今天發布的是首個開源的用于 MoE 模型訓練和推理的 EP 通信庫 ——DeepEP。
附開源地址：https://github.com/deepseek-ai/DeepEP
官方表示其具備如下特征：
高效優化的全到全通信方式
支持節點內外通信，兼容 NVLink 和 RDMA 技術
提供高吞吐量的內核，提升訓練和推理前期填充效率
提供低延遲內核，優化推理解碼速度
完全支持 FP8 數據格式調度
提供靈活的 GPU 資源管理，支持計算與通信的重疊執行
詳細介紹的大意如下：
DeepEP 是一款專為混合專家（MoE）和專家并行（EP）設計的通信庫，提供了高吞吐量和低延遲的 all-to-all GPU 內核，常用于 MoE 派發和合并操作。該庫還支持低精度計算，包括 FP8。
為了與 DeepSeek-V3 論文中提出的組限制門控算法兼容，DeepEP 提供了一些針對不對稱帶寬轉發優化的內核，比如將數據從 NVLink 域轉發到 RDMA 域。這些優化的內核能夠提供高吞吐量，適合用于訓練和推理的預填充任務，同時支持 SM（流式多處理器）數量控制。
對于延遲敏感型的推理解碼任務，DeepEP 提供了一套低延遲內核，采用純 RDMA 技術以最大程度減少延遲。此外，該庫還采用了一種基于 Hook 的通信與計算重疊方法，不會占用任何 SM 資源。
需求：
Hopper GPUs (may support more architectures or devices later)
Python 3.8 及以上版本
CUDA 12.3 及以上版本
PyTorch 2.1 及以上版本
使用 NVLink 進行節點間通信
基于 RDMA 網絡的節點間通信
本文鏈接：http://www.www897cc.com/showinfo-45-11125-0.htmlDeepSeek 開源進度 2 5：首個用于 MoE 模型訓練和推理的 EP 通信庫 DeepEP
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 上海明星 AI 公司“瀾碼科技”曝“員工停薪社保停繳”，創始人周健回應稱“借錢賣房補償，正尋求被并購的可能性”
下一篇： 阿里 Qwen Chat 平臺上線“深度思考”功能：基于 QwQ-Max-Preview 推理模型，支持聯網搜索
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號