鴻蒙OS 4.0公測機型公布：甚至連nova6都支持
華為全新的HarmonyOS 4.0操作系統將于今天下午正式登場，官方在發布會之前也已經正式給出了可升級的機型產品，這意味著這些機型會率先支持升級享用。這次的HarmonyOS 4.0支持
近日，中國聯通持續技術攻堅，依托元景大模型 MaaS 平臺成功搭建“大規模專家并行”推理集群，實現 DeepSeek MoE 大模型在多節點間的超高效集群推理，單卡吞吐提升 3 倍，解碼時延降低 50%。這一成果不僅為人工智能技術的創新發展提供了強大助力，也讓各行業以更高效率應用 AI 技術，加速推動千行百業的數字化轉型。
伴隨大模型 MoE 結構重大技術革新，以往少量“全能型”專家的模式逐漸被取代，大量“?？菩汀毙＜抑饾u成為主流。這一轉變，極大地提升了模型的針對性和精細化程度，使得模型效果顯著改善。
推理應用在各行業的落地隨之全面加速，市場對于推理服務的需求呈井噴式增長，Tokens 處理量的需求與日俱增，這對推理系統的性能提出了更高的要求。為應對這一挑戰，大規模專家并行推理技術應運而生，為大模型推理的加速規模應用提供了強大的技術支撐。
聯通元景大模型與昇騰深度合作，圍繞大規模專家并行推理技術展開全方位創新，將 DeepSeek 671B 滿血版大模型的數百個“?？菩汀毙＜野醋顑灧绞椒植嫉讲煌?NPU 上，使得單卡權重占用顯存降低 75%，權重加載耗時大幅減少，可用于數據計算的顯存顯著增加。
在通信環節，雙方對集群跨機通信方案進行深度優化，通過引入先進計算與通信并行算法，整體通信效率提升 40%。此外，雙方聯合創新多級負載均衡算法，精準識別并均衡各 NPU 的負載，將卡間負載差異成功控制在 10% 以下，有效提升系統吞吐和計算資源利用率。
聯通元景大模型 MaaS 平臺結合大規模專家并行推理集群系統，基于 DeepSeek 671B 滿血版大模型持續進行針對性推理優化創新，打造高可靠、高性能、易運維推理服務。
圍繞高可靠
依托實例內和實例間的多級容災機制，保障業務連續性，提供長穩推理服務。圍繞高性能，進行高并發請求調度、管理、轉發等，打造整個集群的高效數據請求管理入口。
圍繞易運維
進行集群內推理業務狀態監控、以及 PD 身份和資源管理與決策等，打造整個推理集群的狀態監控器和決策大腦，持續提升大規模專家并行推理集群易用性。
在數字經濟蓬勃發展的浪潮中，中國聯通始終勇立潮頭，全面發力人工智能。從精心搭建智算基礎設施，構建強大算力“引擎”，到成功落地大規模專家并行推理集群，打造高性能低時延推理“中樞”，聯通元景大模型持續筑牢國產化智算底座，以技術需求雙輪驅動，打造“普惠速成”的元景 MaaS 平臺，讓人工智能更簡單，為 AI 產業發展注入強勁的“加速度”。
這一推理創新舉措必將助力各行業在復雜多變、競爭激烈的市場環境中搶占先機，以智能化驅動數字化轉型，進而推動實體經濟高質量發展。
本文鏈接：http://www.www897cc.com/showinfo-26-141944-0.html大規模專家并行推理集群實現性能 3 倍躍遷，聯通元景開啟推理新紀元
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號