近日，DeepSeek在其備受矚目的“開源周”活動中，迎來了第二天的重要發(fā)布——DeepEP，這是一個專為混合專家（MoE）模型訓(xùn)練和推理設(shè)計的開源EP通信庫。lZC28資訊網(wǎng)——每日最新資訊28at.com

DeepEP的開源地址已經(jīng)公布，感興趣的開發(fā)者和研究人員可以訪問此鏈接獲取更多信息。lZC28資訊網(wǎng)——每日最新資訊28at.com

lZC28資訊網(wǎng)——每日最新資訊28at.com

據(jù)官方介紹，DeepEP具備多項顯著特征，使其成為處理MoE模型時的理想選擇。首先，它采用了高效優(yōu)化的全到全通信方式，確保了數(shù)據(jù)傳輸?shù)母咝浴Ｆ浯危珼eepEP支持節(jié)點(diǎn)內(nèi)外的通信，并且兼容NVLink和RDMA技術(shù)，這為用戶提供了更多的靈活性和兼容性。lZC28資訊網(wǎng)——每日最新資訊28at.com

DeepEP還提供了高吞吐量的內(nèi)核，這些內(nèi)核在訓(xùn)練和推理的前期填充階段能夠顯著提升效率。同時，對于推理解碼任務(wù)，DeepEP則提供了一套低延遲內(nèi)核，這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而優(yōu)化了推理解碼速度。lZC28資訊網(wǎng)——每日最新資訊28at.com

DeepEP完全支持FP8數(shù)據(jù)格式的調(diào)度，這對于低精度計算的需求來說無疑是一個重要的優(yōu)勢。該庫還提供了靈活的GPU資源管理功能，支持計算與通信的重疊執(zhí)行，這進(jìn)一步提高了資源利用效率和整體性能。lZC28資訊網(wǎng)——每日最新資訊28at.com

DeepEP的設(shè)計初衷是為了滿足混合專家（MoE）和專家并行（EP）模型的特殊需求。它提供了高吞吐量和低延遲的all-to-all GPU內(nèi)核，這些內(nèi)核常用于MoE的派發(fā)和合并操作。為了與DeepSeek-V3論文中提出的組限制門控算法兼容，DeepEP還進(jìn)行了一些針對不對稱帶寬轉(zhuǎn)發(fā)優(yōu)化的內(nèi)核設(shè)計。lZC28資訊網(wǎng)——每日最新資訊28at.com

例如，它能夠?qū)?shù)據(jù)從NVLink域轉(zhuǎn)發(fā)到RDMA域，這些優(yōu)化的內(nèi)核提供了高吞吐量，非常適合用于訓(xùn)練和推理的預(yù)填充任務(wù)。同時，DeepEP還支持SM（流式多處理器）數(shù)量控制，這為用戶提供了更多的控制和靈活性。lZC28資訊網(wǎng)——每日最新資訊28at.com

對于延遲敏感型的推理解碼任務(wù)，DeepEP的低延遲內(nèi)核無疑是一個重要的亮點(diǎn)。這些內(nèi)核采用純RDMA技術(shù)，最大限度地減少了延遲，從而確保了推理解碼任務(wù)的高效執(zhí)行。DeepEP還采用了一種基于Hook的通信與計算重疊方法，這種方法不會占用任何SM資源，進(jìn)一步提高了整體性能。lZC28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然，要使用DeepEP，還需要滿足一些硬件和軟件的要求。例如，需要配備Hopper GPUs（未來可能會支持更多架構(gòu)或設(shè)備），以及Python 3.8及以上版本、CUDA 12.3及以上版本和PyTorch 2.1及以上版本。還需要使用NVLink或基于RDMA網(wǎng)絡(luò)的節(jié)點(diǎn)間通信。lZC28資訊網(wǎng)——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊汪峰與新女友森林北合伙成立壹代人傳媒公司企查查APP顯示，近日，壹代人（北京）文化傳播有限公司成立，注冊資本100萬，法定代表人汪峰，經(jīng)營范圍包含個人互聯(lián)網(wǎng)直播服務(wù)、互聯(lián)網(wǎng)銷售等，汪峰現(xiàn)女友李巧（網(wǎng)名：森林北）間接持有50%股權(quán)，汪峰通過壯麗峰景（…02-25大衣哥正采訪中突然翻墻走了，其姓名被搶注商標(biāo)據(jù)報道，在采訪過程中，面對不斷有人敲門拜訪的壓力，大衣哥無奈選擇翻墻穿鄰居家過去。企查查APP顯示，曾有多家公司、個人搶注大衣哥姓名“朱之文”商標(biāo)，其中部分已注冊成功，國際分類涉及食品、服裝鞋帽、餐飲住宿等。…02-25ST金一成立新公司，含技術(shù)進(jìn)出口業(yè)務(wù)企查查APP顯示，近日，北京越王文化有限公司成立，法定代表人為王曉丹，注冊資本3000萬元，經(jīng)營范圍包含：專業(yè)設(shè)計服務(wù)；貨物進(jìn)出口；技術(shù)進(jìn)出口；進(jìn)出口代理等。企查查股權(quán)穿透顯示，該公司由ST金一（002721…02-25ST墨龍投資成立農(nóng)業(yè)發(fā)展公司，含智能機(jī)器人業(yè)務(wù)企查查APP顯示，近日，墨龍（海南）農(nóng)業(yè)發(fā)展有限公司成立，法定代表人為丁一晏，注冊資本1000萬元，經(jīng)營范圍包含：智能機(jī)器人的研發(fā)；物聯(lián)網(wǎng)設(shè)備銷售；物聯(lián)網(wǎng)技術(shù)服務(wù)等。企查查股權(quán)穿透顯示，該公司由ST墨龍（00…02-25科源制藥成立新公司，含新化學(xué)物質(zhì)進(jìn)口業(yè)務(wù)企查查APP顯示，近日，科源制藥（上海）有限公司成立，法定代表人為蔣紅升，注冊資本500萬元，經(jīng)營范圍包含：醫(yī)學(xué)研究和試驗(yàn)發(fā)展；貨物進(jìn)出口；技術(shù)進(jìn)出口；新化學(xué)物質(zhì)進(jìn)口等。企查查股權(quán)穿透顯示，該公司由科源制藥（…02-25金風(fēng)科技成立智慧新能源公司，含電池制造業(yè)務(wù)企查查APP顯示，近日，包頭金儲智慧新能源有限公司成立，法定代表人為孫悅，注冊資本為100萬元，經(jīng)營范圍包含：儲能技術(shù)服務(wù)；電池制造；風(fēng)力發(fā)電技術(shù)服務(wù)；太陽能發(fā)電技術(shù)服務(wù)；風(fēng)力發(fā)電機(jī)組及零部件銷售；電氣設(shè)備銷…02-25三棵樹投資成立家居新公司企查查APP顯示，近日，福建三棵樹家居有限公司成立，法定代表人為洪圣源，注冊資本1500萬元，經(jīng)營范圍包含：家具制造；家具零配件生產(chǎn)；家具零配件銷售；家具安裝和維修服務(wù)等。企查查股權(quán)穿透顯示，該公司由三棵樹（…02-25天山股份投資成立材料公司，注冊資本3000萬企查查APP顯示，近日，無錫錫山華東材料有限公司成立，法定代表人為張玉華，注冊資本為3000萬元，經(jīng)營范圍包含：道路貨物運(yùn)輸（不含危險貨物）；港口經(jīng)營；水泥制品制造；水泥制品銷售；建筑材料銷售；金屬材料銷售；…02-25雄安集團(tuán)26億元投資成立前行置業(yè)公司企查查APP顯示，近日，河北雄安前行置業(yè)有限公司成立，法定代表人為宗顯雷，注冊資本為26億元，經(jīng)營范圍包含：房地產(chǎn)開發(fā)經(jīng)營；互聯(lián)網(wǎng)信息服務(wù)；商業(yè)綜合體管理服務(wù)；非居住房地產(chǎn)租賃；住房租賃；物業(yè)管理；酒店管理；…02-25中控技術(shù)等投資成立智造技術(shù)新公司企查查APP顯示，近日，中控（舟山）智造技術(shù)有限公司成立，法定代表人為龐鐘輝，注冊資本1000萬元，經(jīng)營范圍包含：工業(yè)自動控制系統(tǒng)裝置銷售；網(wǎng)絡(luò)技術(shù)服務(wù)；物聯(lián)網(wǎng)技術(shù)服務(wù)；智能控制系統(tǒng)集成等。企查查股權(quán)穿透顯示…02-25千元克價黃金熱，老鋪能否持續(xù)引領(lǐng)中式奢侈品風(fēng)潮？老鋪黃金門店外蜿蜒的長隊和令人咋舌的克價，折射出的其實(shí)并不是消費(fèi)者對黃金的狂熱，而更像是一場關(guān)于產(chǎn)品定位與消費(fèi)心理的博弈。但消費(fèi)者于娟則說道，“我看小紅書上的代購和其他買金人們都說今年金價漲得的這么快，老鋪…02-25滾導(dǎo)掌舵DC宇宙兩年有感：時光飛逝，蝙蝠俠新項目引期待02-25ST墨龍跨界農(nóng)業(yè)，新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域02-25科源制藥新設(shè)全資子公司，經(jīng)營范圍拓展至新化學(xué)物質(zhì)進(jìn)口02-25三棵樹家居新公司亮相，注冊資本達(dá)1500萬，業(yè)務(wù)范圍廣泛02-25點(diǎn)擊查看更多 +全站最新手機(jī)中木馬竟能自動消費(fèi)？專家教你自查處理三步驟小米15 Ultra“夜神”來襲！徠卡超純光學(xué)系統(tǒng)，影像新高度？比亞迪秦L EV官圖曝光，顏值在線搭載天神之眼C智駕系統(tǒng)理想i8純電SUV官圖曝光，前臉神似MEGA，全新設(shè)計語言亮相滾導(dǎo)掌舵DC宇宙兩年有感：時光飛逝，蝙蝠俠新項目引期待湖北高中生自制折疊屏手機(jī)，引450萬圍觀，被贊“小雷軍”？熱門內(nèi)容

• 春節(jié)假期高速免費(fèi)通行，1月28日0時至2月4日24時別錯過！
• DeepSeek創(chuàng)始人梁文鋒：從高考狀元到低調(diào)創(chuàng)業(yè)者，走紅后欲低調(diào)回鄉(xiāng)過年
• 《哪吒之魔童降世》票房破110億，全球影史排名第十二！《美國隊長4》上映票房如何？
• 2025春節(jié)檔火爆！《哪吒之魔童鬧海》領(lǐng)跑，總票房直逼55億大關(guān)
• 浙大智能體“浙大先生”上線，全國829所高校師生可免費(fèi)共享DeepSeek
• 《唐探1900》春節(jié)檔上映，豆瓣評分6.7，口碑兩極分化？
• 金價飆升！847元/克金飾創(chuàng)新高，黃金牛市還能走多遠(yuǎn)？
• 《哪吒2》票房高歌猛進(jìn)，全球動畫電影榜沖進(jìn)前三！
• 《哪吒之魔童鬧海》票房破20億，領(lǐng)跑春節(jié)檔，第三部還會遠(yuǎn)嗎？
• 浙大DeepSeek全國高校開放！829所學(xué)子免費(fèi)用，告別系統(tǒng)繁忙
• 《哪吒之魔童鬧海》春節(jié)檔大捷，單日票房破17億刷新動畫電影紀(jì)錄！
• 《蛟龍行動》遇一星差評潮，于冬怒批豆瓣粉圈互黑，誓言影片絕不撤檔！
• 美攝科技勝訴！字節(jié)跳動8款產(chǎn)品被判代碼抄襲賠償8266萬
• 《熊出沒》動畫電影系列十一部齊發(fā)力，總票房突破80億大關(guān)！
• 2025年春節(jié)檔電影盛宴：六部大片齊賀歲，哪部將成票房黑馬？

本欄最新滾導(dǎo)掌舵DC宇宙兩年有感：時光飛逝，蝙蝠俠新項目引期待ST墨龍跨界農(nóng)業(yè)，新公司涉足智能機(jī)器人與物聯(lián)網(wǎng)領(lǐng)域科源制藥新設(shè)全資子公司，經(jīng)營范圍拓展至新化學(xué)物質(zhì)進(jìn)口三棵樹家居新公司亮相，注冊資本達(dá)1500萬，業(yè)務(wù)范圍廣泛金風(fēng)科技新動作！間接全資成立智慧新能源公司，涉足電池制造天山股份全資控股新公司，無錫錫山華東材料公司注冊資本達(dá)3000萬

本文鏈接：http://www.www897cc.com/showinfo-16-133850-0.htmlDeepSeek新動向：MoE模型利器DeepEP通信庫震撼開源！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 阿里Qwen推出新推理模型QwQ，數(shù)學(xué)編程樣樣行，還能聯(lián)網(wǎng)搜

下一篇： 汪峰與新女友森林北合伙成立壹代人傳媒公司