6 月 20 日消息,在今日舉行的華為開發者大會 2025(HDC 2025)上,華為常務董事、華為云計算 CEO 張平安宣布基于 CloudMatrix384 超節點的新一代昇騰 AI 云服務全面上線,為大模型應用提供“澎湃算力”。
隨著大模型訓練和推理對算力需求的爆炸式增長,傳統計算架構已難以支撐 AI 技術的代際躍遷。華為云新一代昇騰 AI 云服務基于 CloudMatrix384 超節點,首創將 384 顆昇騰 NPU 和 192 顆鯤鵬 CPU 通過全新高速網絡 MatrixLink 全對等互聯,形成一臺超級“AI 服務器”,單卡推理吞吐量躍升到 2300Tokens / s。
超節點架構能更好地支持混合專家 MoE 大模型的推理,可以實現“一卡一專家”,一個超節點可以支持 384 個專家并行推理,提升效率。同時,超節點還可以支持“一卡一算力任務”,靈活分配資源,提升任務并行處理,減少等待,將算力有效使用率(MFU)提升 50% 以上。
對于萬億、十萬億參數的大模型訓練任務,在云數據中心,還能將 432 個超節點級聯成最高 16 萬卡的超大集群;同時,超節點還可以支持訓推算力一體部署,如“日推夜訓”,訓推算力可靈活分配,幫助客戶資源使用最優。
新浪與華為云深度合作,基于 CloudMatrix384 昇騰 AI 云服務,為“智慧小浪”智能服務體系構建了統一的推理平臺,底層由昇騰 AI 算力提供支持。推理的交付效率提升了超過 50%,模型上線速度成倍加快;通過軟硬協同調優,NPU 利用率提升超過 40%。
硅基流動正在使用 CloudMatrix384 超節點,為數百萬用戶高效提供 DeepSeekV3、R1 的推理服務。面壁智能使用 CloudMatrix384 超節點,讓他們的小鋼炮模型的推理業務性能得到了 2.7 倍提升。
在科研領域,中國科學院基于 CloudMatrix384 超節點打造了自己的模型訓練框架,快速構建了中國科學院 AI forScience 科研大模型,擺脫了對國外高性能 AI 算力平臺的依賴。
在互聯網領域,360 打造的納米 AI 搜索,為用戶提供超級 AI 搜索服務,也已開啟了 CloudMatrix384 超節點的測試。
從大會獲悉,當前,昇騰 AI 云服務為超過 1300 家客戶提供 AI 算力。
華為開發者大會 HDC 2025 專題
本文鏈接:http://www.www897cc.com/showinfo-45-14001-0.html華為云新一代昇騰 AI 云服務全面上線:首創將 384 顆昇騰 NPU 和 192 顆鯤鵬 CPU 全對等互聯
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com