摸魚心法第一章——和配置文件說拜拜
為了能摸魚我們團隊做了容器化，但是帶來的問題是服務配置文件很麻煩，然后大家在群里進行了“親切友好”的溝通圖片圖片圖片圖片對比就對比，簡單對比下獨立配置中心和k8s作為配
快科技8月27日消息，在第四屆828 B2B企業節開幕式上，華為云宣布其Tokens服務全面接入CloudMatrix384超節點。
通過xDeepServe架構創新，單芯片高可實現2400TPS、50msTPOT的超高吞吐、低時延的性能，超過業界水平。
過去18個月，中國AI算力需求呈現指數級增長。數據顯示，2024年初中國日均Token的消耗量為1000億，截至今年6月底，日均Token消耗量已突破30萬億，1年半的時間增長了300多倍，反映了我國人工智能應用規模快速增長，也對算力基礎設施的需求提出了更大的挑戰。
在以往按卡時計費的基礎上，今年3月，華為云正式推出了基于MaaS的Tokens服務。針對不同應用、不同場景的性能和時延要求，還提供了在線版、進線版、離線版乃至尊享版等多種服務規格，為大模型、Agent智能體等AI工具提供了更為靈活、便捷、低成本的先進算力。
而這一次，華為云的Tokens服務正式接入CloudMatrix384，并通過384原生的xDeepServe框架再次實現了吞吐量的突破，從年初的1920TPS提升至2400TPS，TPOT僅為50ms。
大算力的構建不是單點突破，而是一個從硬件到軟件、從算子到存儲、從推理框架到超節點的全棧創新，充分依托了華為的“大雜燴”能力。
首先，CloudMatrix384超節點以全新的計算架構創新，突破性能瓶頸，構筑穩固澎湃的算力根基；CANN昇騰硬件使能，優化算子與高效通信策略，讓云端的算力能夠以高效的方式被調用和組合；EMS彈性內存存儲打破AI內存墻，突破性地實現“以存強算”，徹底釋放了每一顆芯片的算力；xDeepServe 分布式推理框架則以極致分離架構Transfomerless讓超節點釋放出更高效算力。
作為CloudMatrix384 超節點的原生服務，xDeepServe以Transformerless 的極致分離架構，把MoE大模型拆成可獨立伸縮的 Attention、FFN、Expert三個微模塊，相當于在一臺CloudMatrix384上把“大模型”拆成“積木”，并分派到不同的NPU上同步處理任務。
之后，再用基于內存語義的微秒級XCCL通信庫與FlowServe 自研推理引擎把它們重新拼成一個超高吞吐的LLM服務平臺，即Tokens的“超高速流水線”。通過xDeepServe不斷調優，終實現了從非超節點單卡吞吐600tokens/s至超節點單卡吞吐2400tokens/s的提升。
作為硬件加速計算的中間層，CANN包含多個算子庫和和XCCL這種高性能通信庫等組件，共同支撐AI模型的高效運行。其中，XCCL作為專為超節點上的大語言模型（LLM）服務而量身打造的高性能通信庫，能夠充分發揮CloudMatrix384擴展后的UB互聯架構（UB fabric）的全部潛力，為 Transformerless的全面分離奠定了帶寬與時延雙重硬底座。
而作為被重構的“去中心”式分布式引擎，FlowServe把CloudMatrix384 切成完全自治的 DP 小組，每個小組自帶 Tokenizer、執行器、RTC 緩存與網絡棧，完全自給自足，做到千卡并發也不“擁堵”。
目前，xDeepServe已實現MA分離，而下一步，將把Attention、MoE、Decode全部改成自由流動的數據流，并把同樣的拼圖方法復制到多臺超節點，讓推理吞吐像鋪軌一樣線性延伸，終或將視線吞吐量的更大突破，讓每塊 NPU 都高效運作，芯片永不排隊，推理永不塞車。
目前，華為云MaaS服務已支持DeepSeek、Kimi、Qwen、Pangu、SDXL、Wan等主流大模型及versatile、Dify、扣子等主流Agent平臺。
華為云積累了大量模型性能優化、效果調優的技術和能力，從而實現“源于開源，高于開源”，讓更多大模型可以在昇騰云上跑得更快更好。
以文生圖大模型來說，在輕微損失畫質的情況下，通過Int8量化、旋轉位置編碼融合算子等方式，在在華為云MaaS平臺實現了2倍于業界主流平臺的出圖速度，大尺寸支持2K×2K。
而在文生視頻大模型上，不僅通過量化方式來提速，還通過通算并行等方式，降低延遲與顯存占用，大幅提升視頻生成速度，相較于友商實現了3.5倍的性能提升。華為云Tokens服務在性能、模型適配、效果調優方面的基礎，也讓更多企業能夠快速開發和構建AI Agent。
而在應用層，華為云已與超過100家伙伴攜手深入行業場景，共建豐富的Agent，在調研分析、內容創作、智慧辦公、智能運維等領域解決產業難題，讓企業更便捷地擁抱AI創新，加速智能化。
如基于MaaS平臺推出的今日人才數智員工解決方案，集成了先進的自然語言處理、機器學習和深度學習技術，能實現與用戶的智能交互和任務處理，顯著提升服務效率與客戶滿意度；而北京方寸無憂科技開發的無憂智慧公文解決方案可以提升公文處理效能，實現政企辦公智能化轉型。
本文鏈接：http://www.www897cc.com/showinfo-22-179092-0.html華為云Tokens服務全面接入384超節點：憑“大雜燴”打造先進算力
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號