5 月 25 日消息,2025 年 5 月 23 日,在鯤鵬昇騰開發者大會 2025 —— 昇騰 AI 開發者峰會上,華為推出了昇騰超節點技術,成功實現業界最大規模的 384 卡高速總線互聯。
當前,大模型發展呈現參數與效率交替演進的態勢:一方面,Scaling Law 不斷推動模型能力突破極限;另一方面,以 DeepSeek 為代表的創新架構與工程技術,正加速模型能力在千行萬業的落地應用。在此背景下,MoE 成為主流模型結構,其復雜的混合并行策略帶來巨大挑戰,TP、SP、EP 單次通信量高達 GB 級且難以掩蓋。隨著并行規模持續擴大,傳統服務器跨機帶寬已成為訓練的核心阻礙,亟需計算架構的創新升級以適配未來模型發展。
傳統服務器依賴以太網絡實現跨機互聯,通信帶寬較低。實踐表明,當 TP、SP 或 EP 等分布式策略的混合并行域超過 8 卡時,跨機通信帶寬便成為性能瓶頸,導致系統性能大幅下降。
據介紹,華為昇騰超節點打破了以 CPU 為中心的馮諾依曼架構,創新提出了對等計算架構,憑借高速總線互聯技術實現重大突破,把總線從服務器內部,擴展到整機柜、甚至跨機柜。在超節點范圍內,用高速總線互聯替代傳統以太,通信帶寬提升了 15 倍;單跳通信時延也從 2 微秒做到 200 納秒,降低了 10 倍,使集群如同一臺計算機般協同工作,有效突破系統性能限制。
從華為中國官方獲悉,此次推出的昇騰 384 超節點,由 12 個計算柜和 4 個總線柜構成,是目前業界規模最大的超節點。依托華為在 ICT 領域深厚的技術與工程經驗,通過最佳負載均衡組網方案,該超節點可進一步擴展為包含數萬卡的 Atlas 900 SuperCluster 超節點集群,為未來更大規模的模型演進提供支撐。
性能測試數據顯示,在昇騰超節點集群上,LLaMA 3 等千億稠密模型性能相比傳統集群提升 2.5 倍以上;在通信需求更高的 Qwen、DeepSeek 等多模態、MoE 模型上,性能提升可達 3 倍以上,較業界其他集群高出 1.2 倍,在行業中處于領先地位。
本文鏈接:http://www.www897cc.com/showinfo-45-13225-0.html華為推出昇騰超節點技術,成功實現業界最大規模 384 卡高速總線互聯
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com