快科技8月13日消息,據媒體報道,在2025金融AI推理應用落地與發展論壇上,華為重磅發布了其AI推理創新技術——UCM(推理記憶數據管理器)。這項技術被業內視為有望重塑國內AI推理格局的關鍵突破。
UCM技術的核心在于其先進的KV Cache系統,通過融合多種緩存加速算法工具與精細的分級管理策略,高效處理推理過程中產生的大量記憶數據。這帶來了多重顯著優勢:有效擴大上下文窗口,確保推理過程的高吞吐量與低延遲,并顯著降低每個Token的推理成本。
尤為關鍵的是,UCM技術有望緩解當前因HBM(高帶寬內存)資源短缺導致的任務停滯與響應延遲問題,為AI應用提供更流暢的體驗,從而減少行業對HBM的過度依賴。
此次論壇不僅是UCM技術的首次亮相,華為還宣布將攜手中國銀聯,共同發布雙方在AI推理領域的新應用成果。論壇還邀請了來自信通院、清華大學、科大訊飛等機構的專家,分享他們在優化大模型推理速度及提升用戶體驗方面的前沿經驗。
華為數據存儲產品線副總裁樊杰在演講中強調了高質量行業數據與高性能存儲對AI發展的重要性。他指出,未來的AI飛躍將極大依賴于此,高性能AI存儲系統能將數據加載時間從數小時壓縮至幾分鐘,同時使算力集群的效率實現倍增。
華為計劃于2025年9月正式開源UCM技術,首發平臺為魔擎社區。后續,華為將逐步將該技術貢獻給業界主流的推理引擎社區,并向所有采用 “共享一切”(Share Everything) 架構的存儲廠商及生態伙伴開放共享。
本文鏈接:http://www.www897cc.com/showinfo-22-177043-0.html華為發布AI推理技術UCM:降低HBM依賴 計劃9月正式開源
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 殺入傳音腹地!小米任命多位非洲市場高管 雷軍稱要加大投入
下一篇: 北京移動崩了 官方道歉