6 月 20 日消息,在今日舉行的華為開發(fā)者大會(huì) 2025(HDC 2025)上,華為常務(wù)董事、華為云計(jì)算 CEO 張平安宣布基于 CloudMatrix384 超節(jié)點(diǎn)的新一代昇騰 AI 云服務(wù)全面上線,為大模型應(yīng)用提供“澎湃算力”。
隨著大模型訓(xùn)練和推理對(duì)算力需求的爆炸式增長(zhǎng),傳統(tǒng)計(jì)算架構(gòu)已難以支撐 AI 技術(shù)的代際躍遷。華為云新一代昇騰 AI 云服務(wù)基于 CloudMatrix384 超節(jié)點(diǎn),首創(chuàng)將 384 顆昇騰 NPU 和 192 顆鯤鵬 CPU 通過全新高速網(wǎng)絡(luò) MatrixLink 全對(duì)等互聯(lián),形成一臺(tái)超級(jí)“AI 服務(wù)器”,單卡推理吞吐量躍升到 2300Tokens / s。
超節(jié)點(diǎn)架構(gòu)能更好地支持混合專家 MoE 大模型的推理,可以實(shí)現(xiàn)“一卡一專家”,一個(gè)超節(jié)點(diǎn)可以支持 384 個(gè)專家并行推理,提升效率。同時(shí),超節(jié)點(diǎn)還可以支持“一卡一算力任務(wù)”,靈活分配資源,提升任務(wù)并行處理,減少等待,將算力有效使用率(MFU)提升 50% 以上。
對(duì)于萬(wàn)億、十萬(wàn)億參數(shù)的大模型訓(xùn)練任務(wù),在云數(shù)據(jù)中心,還能將 432 個(gè)超節(jié)點(diǎn)級(jí)聯(lián)成最高 16 萬(wàn)卡的超大集群;同時(shí),超節(jié)點(diǎn)還可以支持訓(xùn)推算力一體部署,如“日推夜訓(xùn)”,訓(xùn)推算力可靈活分配,幫助客戶資源使用最優(yōu)。
新浪與華為云深度合作,基于 CloudMatrix384 昇騰 AI 云服務(wù),為“智慧小浪”智能服務(wù)體系構(gòu)建了統(tǒng)一的推理平臺(tái),底層由昇騰 AI 算力提供支持。推理的交付效率提升了超過 50%,模型上線速度成倍加快;通過軟硬協(xié)同調(diào)優(yōu),NPU 利用率提升超過 40%。
硅基流動(dòng)正在使用 CloudMatrix384 超節(jié)點(diǎn),為數(shù)百萬(wàn)用戶高效提供 DeepSeekV3、R1 的推理服務(wù)。面壁智能使用 CloudMatrix384 超節(jié)點(diǎn),讓他們的小鋼炮模型的推理業(yè)務(wù)性能得到了 2.7 倍提升。
在科研領(lǐng)域,中國(guó)科學(xué)院基于 CloudMatrix384 超節(jié)點(diǎn)打造了自己的模型訓(xùn)練框架,快速構(gòu)建了中國(guó)科學(xué)院 AI forScience 科研大模型,擺脫了對(duì)國(guó)外高性能 AI 算力平臺(tái)的依賴。
在互聯(lián)網(wǎng)領(lǐng)域,360 打造的納米 AI 搜索,為用戶提供超級(jí) AI 搜索服務(wù),也已開啟了 CloudMatrix384 超節(jié)點(diǎn)的測(cè)試。
從大會(huì)獲悉,當(dāng)前,昇騰 AI 云服務(wù)為超過 1300 家客戶提供 AI 算力。
華為開發(fā)者大會(huì) HDC 2025 專題
本文鏈接:http://www.www897cc.com/showinfo-45-14001-0.html華為云新一代昇騰 AI 云服務(wù)全面上線:首創(chuàng)將 384 顆昇騰 NPU 和 192 顆鯤鵬 CPU 全對(duì)等互聯(lián)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com