當(dāng)前位置：首頁 > 科技 > 手機

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

來源：責(zé)編：時間：2025-01-25 09:31:30 78觀看

導(dǎo)讀快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。這一算法具有卓越的性能，能夠有效節(jié)省高達70%的大模型

快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。

這一算法具有卓越的性能，能夠有效節(jié)省高達70%的大模型推理內(nèi)存占用，為AI大模型的高效運行提供了有力支持。

其論文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度學(xué)習(xí)領(lǐng)域國際頂級會議ICLR 2025收錄。

華為表示，此算法為業(yè)界首個基于Attention可解釋性的離線靜態(tài)KV Cache壓縮算法，打破了過去AI大模型長序列KV Cache壓縮不理想的現(xiàn)狀。

該算法通過檢索頭的設(shè)置，確保上下文中重要且主要的信息不丟失，在保持高精度（誤差小于1%）的情況下，靜態(tài)有效壓縮了大到70%的KV Cache內(nèi)存占用，可以為用戶大大節(jié)約AI大模型推理的成本。

目前RazorAttention算法已產(chǎn)品化集成在昇騰MindIE/MindStudio，支持主流8K~1M長序列KV Cache壓縮，32K以上場景增量吞吐提升20%+。

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

本文鏈接：http://www.www897cc.com/showinfo-22-127307-0.html華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：黃仁勛上手華為三折疊：不可思議非常適合我

下一篇：有錢人還是多！2024年中國智能機：6000+市場份額近20%

標(biāo)簽：

熱門焦點

5月安卓手機好評榜：魅族20 Pro奪冠

性能榜和性價比榜之后，我們來看最后的安卓手機好評榜，數(shù)據(jù)來源安兔兔評測，收集時間2023年5月1日至5月31日，僅限國內(nèi)市場。第一名：魅族20 Pro好評率：97.50%不得不感慨魅族老品牌還
電視息屏休眠仍有網(wǎng)絡(luò)上傳愛奇藝被質(zhì)疑“薅消費者羊毛”

記者丨寧曉敏見習(xí)生丨汗青出品丨鰲頭財經(jīng)（theSankei）前不久，愛奇藝發(fā)布了一份亮眼的一季報，不僅營收和會員營收創(chuàng)造歷史最佳表現(xiàn)，其運營利潤也連續(xù)6個月實現(xiàn)增長。自去年年初
得物寵物生意「狂飆」，發(fā)力“它經(jīng)濟”

作者｜花花小萌主近日，得物宣布正式上線寵物鑒別，通過得物App內(nèi)的“在線鑒別”，可找到鑒別寵物的選項。通過上傳自家寵物的部位細節(jié)，就能收獲擁有專業(yè)資質(zhì)認證的得物鑒
當(dāng)家的盒馬，加速謀生

來源 | 價值星球Planet作者 | 歸去來自己“當(dāng)家”的盒馬，開始加速謀生了。據(jù)盒馬官微消息，盒馬計劃今年開放生鮮供應(yīng)鏈，將其生鮮商品送往食堂。目前，盒馬在上海已經(jīng)與
微博大門常打開，迎接海外畫師漂洋東渡

作者:互聯(lián)網(wǎng)那些事“起猛了，我能看得懂日語了”。“為什么日本人說話我能聽懂？”“中文不像中文，日語不像日語，但是我竟然看懂了”…&hell
消息稱小米汽車開始篩選交付中心：需至少120個車位

IT之家 7 月 7 日消息，日前，有微博簡介為“汽車行業(yè)從業(yè)者、長三角一體化擁護者”的微博用戶 @長三角行健者發(fā)文表示，據(jù)經(jīng)銷商集團反饋，小米汽車目前
聯(lián)想小新Pad Pro 12.6將要推出，搭載高通驍龍 870 處理器

聯(lián)想小新Pad Pro 12.6將于秋季新品會上推出，官方按照慣例直接在發(fā)布會前給出了機型的所有參數(shù)。聯(lián)想小新 Pad Pro 12.6 將搭載高通驍龍 870 處理器，重量為 5
微軟發(fā)布Windows 11新版引入全新任務(wù)欄狀態(tài)

近日，微軟發(fā)布了Windows 11新版，而Build 22563更新主要引入了幾周前曝光的平板模式任務(wù)欄等，系統(tǒng)更流暢了。更新中，Windows 11加入了專門針對平板優(yōu)化的任務(wù)欄
外交部：美方應(yīng)停止在網(wǎng)絡(luò)安全問題上不負責(zé)任地指責(zé)他國

　中國外交部今天（16日）舉行例行記者會。會上，有記者問，美國情報官員稱，他們正在阻攔來自中國以及其他國家的黑客獲取相關(guān)科研成果。中方對此有何評論？對此

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

5月安卓手機好評榜：魅族20 Pro奪冠

電視息屏休眠仍有網(wǎng)絡(luò)上傳愛奇藝被質(zhì)疑“薅消費者羊毛”

得物寵物生意「狂飆」，發(fā)力“它經(jīng)濟”

當(dāng)家的盒馬，加速謀生

微博大門常打開，迎接海外畫師漂洋東渡

消息稱小米汽車開始篩選交付中心：需至少120個車位

聯(lián)想小新Pad Pro 12.6將要推出，搭載高通驍龍 870 處理器

微軟發(fā)布Windows 11新版引入全新任務(wù)欄狀態(tài)

外交部：美方應(yīng)停止在網(wǎng)絡(luò)安全問題上不負責(zé)任地指責(zé)他國

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊