一加Ace2 Pro官宣：普及16G內存 引領24G
一加官方今天繼續為本月發布的新機一加Ace2 Pro帶來預熱，公布了內存方面的信息。“淘汰 8GB ，12GB 起步，16GB 普及，24GB 引領，還有呢？#一加Ace2Pro#，2023 年 8 月，敬請期待。”同時
快科技1月24日消息，華為AI算法團隊在人工智能領域取得了顯著突破，他們研究并發表了一種創新的大模型KV Cache壓縮算法，名為“RazorAttention”。
這一算法具有卓越的性能，能夠有效節省高達70%的大模型推理內存占用，為AI大模型的高效運行提供了有力支持。
其論文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度學習領域國際頂級會議ICLR 2025收錄。
華為表示，此算法為業界首個基于Attention可解釋性的離線靜態KV Cache壓縮算法，打破了過去AI大模型長序列KV Cache壓縮不理想的現狀。
該算法通過檢索頭的設置，確保上下文中重要且主要的信息不丟失，在保持高精度（誤差小于1%）的情況下，靜態有效壓縮了大到70%的KV Cache內存占用，可以為用戶大大節約AI大模型推理的成本。
目前RazorAttention算法已產品化集成在昇騰MindIE/MindStudio，支持主流8K~1M長序列KV Cache壓縮，32K以上場景增量吞吐提升20%+。
本文鏈接：http://www.www897cc.com/showinfo-17-127459-0.html華為提出全新壓縮算法：節省70%內存占用
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號