在華為近期舉辦的昇騰AI開發(fā)者峰會上,一項重大的技術(shù)創(chuàng)新引起了業(yè)界的廣泛關(guān)注。華為昇騰計算業(yè)務(wù)總裁張迪煊向與會者隆重介紹了昇騰384超節(jié)點(diǎn)架構(gòu),這一基于昇騰人工智能處理器的高性能計算架構(gòu),被譽(yù)為中國版的英偉達(dá)NVL72系統(tǒng),為解決數(shù)據(jù)中心瓶頸問題提供了新的思路。
隨著大數(shù)據(jù)和人工智能技術(shù)的飛速發(fā)展,傳統(tǒng)的服務(wù)器架構(gòu)在并行處理規(guī)模不斷擴(kuò)大的背景下,其跨機(jī)帶寬逐漸成為制約訓(xùn)練效率的關(guān)鍵因素。張迪煊在會上指出,為了滿足未來日益增長的訓(xùn)練需求,創(chuàng)新計算架構(gòu)如昇騰384超節(jié)點(diǎn)顯得尤為重要。
昇騰384超節(jié)點(diǎn)架構(gòu)是華為此前公布的CloudMatrix 384系統(tǒng)的基礎(chǔ)。該系統(tǒng)由384顆昇騰AI處理器組成,包含12個計算柜和4個總線柜,最大算力可達(dá)驚人的300 PFLOPS,并配備了48TB的高速內(nèi)存。這一架構(gòu)不僅實現(xiàn)了業(yè)界最大規(guī)模的昇騰384卡超節(jié)點(diǎn),還已在安徽、內(nèi)蒙古和貴州等地的數(shù)據(jù)中心成功部署。
華為表示,多個昇騰384超節(jié)點(diǎn)可以進(jìn)一步組成十萬卡級的Atlas 900 SuperCluster超節(jié)點(diǎn)集群,以滿足更大規(guī)模的模型訓(xùn)練需求,加速各行各業(yè)的智能化和高效化進(jìn)程。這一創(chuàng)新架構(gòu)打破了以CPU為中心的馮諾依曼架構(gòu),提出了對等計算架構(gòu)的新理念。在超節(jié)點(diǎn)內(nèi)部,高速總線互聯(lián)取代了傳統(tǒng)的以太網(wǎng),通信帶寬提升了15倍,單跳通信時延也降低了10倍,從2微秒縮短至200納秒。
值得注意的是,昇騰384超節(jié)點(diǎn)架構(gòu)在處理當(dāng)前主流的Mixture-of-Experts(MoE)模型時展現(xiàn)出了卓越的性能。MoE模型以其優(yōu)異的模型效果成為主要模型結(jié)構(gòu),但其混合并行策略卻極為復(fù)雜,涉及大量的通信量。華為公布的基準(zhǔn)測試結(jié)果顯示,在處理meta的LLama 3等密集型AI模型時,昇騰384超節(jié)點(diǎn)的單卡性能達(dá)到了132 tokens/秒(TPS),是傳統(tǒng)集群的2.5倍。對于Qwen以及DeepSeek等通信密集型多模態(tài)及MoE模型,華為架構(gòu)的單卡性能更是高達(dá)600至750 TPS,實現(xiàn)了3倍以上的性能提升。
雖然華為尚未明確透露其新計算架構(gòu)下具體使用的是哪款昇騰芯片變體,但據(jù)SemiAnalysis的一份報告透露,CloudMatrix 384系統(tǒng)采用了最新的昇騰910C AI處理器。這款處理器通過規(guī)模優(yōu)勢來彌補(bǔ)單個芯片性能的不足,從而在整體性能上實現(xiàn)了顯著提升。
在峰會上,華為還分享了CATLASS算子模板庫、MindIE Motor推理服務(wù)加速庫以及持續(xù)升級的分層開放CANN能力等內(nèi)容。這些舉措旨在為開發(fā)者提供更加便捷的開發(fā)環(huán)境,提升模型訓(xùn)練與推理效率,進(jìn)一步推動產(chǎn)業(yè)生態(tài)的共建與發(fā)展。
SemiAnalysis的報告指出,盡管華為在芯片領(lǐng)域相對于西方企業(yè)落后一代,但其擴(kuò)展解決方案卻領(lǐng)先了英偉達(dá)和超微半導(dǎo)體(AMD)的當(dāng)前市場產(chǎn)品一代。這一評價無疑是對華為在AI計算領(lǐng)域創(chuàng)新能力的肯定。
在全球AI算力競賽日益激烈的背景下,華為的創(chuàng)新不僅為解決數(shù)據(jù)中心瓶頸問題提供了中國方案,更有望重塑下一代AI模型訓(xùn)練的底層邏輯。通過不斷的技術(shù)創(chuàng)新,華為正在算力規(guī)模與能效比之間尋找新的平衡點(diǎn),推動AI技術(shù)從實驗室走向更廣泛的產(chǎn)業(yè)應(yīng)用,為全球AI產(chǎn)業(yè)的發(fā)展貢獻(xiàn)中國智慧和力量。
本文鏈接:http://www.www897cc.com/showinfo-45-13248-0.html華為昇騰384超節(jié)點(diǎn):算力媲美英偉達(dá),通信帶寬大飛躍!
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com