8 月 27 日消息，在今日舉行的第四屆 828 B2B 企業(yè)節(jié)開幕式上，華為云宣布其 Tokens 服務(wù)全面接入 CloudMatrix384 超節(jié)點(diǎn)，將發(fā)揮“大雜燴”優(yōu)勢(shì)，以系統(tǒng)創(chuàng)新彌補(bǔ)單點(diǎn)不足，實(shí)現(xiàn)性能持續(xù)提升。4eZ28資訊網(wǎng)——每日最新資訊28at.com

4eZ28資訊網(wǎng)——每日最新資訊28at.com

華為云介紹稱，通過 xDeepServe 架構(gòu)創(chuàng)新，單芯片最高可實(shí)現(xiàn) 2400TPS、50msTPOT 的超高吞吐、低時(shí)延的性能，超過業(yè)界水平。4eZ28資訊網(wǎng)——每日最新資訊28at.com

華為云表示，過去 18 個(gè)月，中國 AI 算力需求呈現(xiàn)指數(shù)級(jí)增長。數(shù)據(jù)顯示，2024 年初中國日均 Token 的消耗量為 1000 億，截至今年 6 月底，日均 Token 消耗量已突破 30 萬億，1 年半的時(shí)間增長了 300 多倍，反映了我國人工智能應(yīng)用規(guī)模快速增長，也對(duì)算力基礎(chǔ)設(shè)施的需求提出了更大的挑戰(zhàn)。4eZ28資訊網(wǎng)——每日最新資訊28at.com

IT酷哥查詢獲悉，華為云于今年 3 月在以往按卡時(shí)計(jì)費(fèi)的基礎(chǔ)上正式推出了基于 MaaS 的 Tokens 服務(wù)。針對(duì)不同應(yīng)用、不同場(chǎng)景的性能和時(shí)延要求，還提供了在線版、進(jìn)線版、離線版乃至尊享版等多種規(guī)格。4eZ28資訊網(wǎng)——每日最新資訊28at.com

華為云表示，Tokens 服務(wù)現(xiàn)正式接入 CloudMatrix384，并通過 384 原生的 xDeepServe 框架再次實(shí)現(xiàn)了吞吐量的突破，從年初的 1920TPS 提升至 2400TPS，TPOT 僅為 50ms。4eZ28資訊網(wǎng)——每日最新資訊28at.com

目前，華為云 MaaS 服務(wù)已支持 DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan 等主流大模型及 versatile、Dify、扣子等主流 Agent 平臺(tái)。4eZ28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-179058-0.html華為云宣布 Tokens 服務(wù)全面接入 384 超節(jié)點(diǎn)：性能從 1920TPS 提升到 2400TPS

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 電路板基礎(chǔ)材料“電子布”廠商宏和科技：上半年凈利潤同比增長 10587.74%

下一篇： 英特爾攜手五企成立UQD聯(lián)盟，推動(dòng)數(shù)據(jù)中心液冷產(chǎn)品跨品牌兼容