當(dāng)前位置：首頁 > 科技 > 網(wǎng)絡(luò)

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

來源：責(zé)編：時間：2025-01-25 09:33:32 81觀看

導(dǎo)讀快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。這一算法具有卓越的性能，能夠有效節(jié)省高達(dá)70%的大模型

快科技1月24日消息，華為AI算法團隊在人工智能領(lǐng)域取得了顯著突破，他們研究并發(fā)表了一種創(chuàng)新的大模型KV Cache壓縮算法，名為“RazorAttention”。

這一算法具有卓越的性能，能夠有效節(jié)省高達(dá)70%的大模型推理內(nèi)存占用，為AI大模型的高效運行提供了有力支持。

其論文《RazorAttention: Efficient KV Cache Compression Through Retrieval Heads》已被深度學(xué)習(xí)領(lǐng)域國際頂級會議ICLR 2025收錄。

華為表示，此算法為業(yè)界首個基于Attention可解釋性的離線靜態(tài)KV Cache壓縮算法，打破了過去AI大模型長序列KV Cache壓縮不理想的現(xiàn)狀。

該算法通過檢索頭的設(shè)置，確保上下文中重要且主要的信息不丟失，在保持高精度（誤差小于1%）的情況下，靜態(tài)有效壓縮了大到70%的KV Cache內(nèi)存占用，可以為用戶大大節(jié)約AI大模型推理的成本。

目前RazorAttention算法已產(chǎn)品化集成在昇騰MindIE/MindStudio，支持主流8K~1M長序列KV Cache壓縮，32K以上場景增量吞吐提升20%+。

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

本文鏈接：http://www.www897cc.com/showinfo-17-127459-0.html華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：余承東用華為平板畫了一個福字：巧妙融入“2025”

下一篇：韓國棋院稱會把獎金匯入柯潔賬戶：將修改圍棋規(guī)定

標(biāo)簽：

熱門焦點

K60 Pro官方停產(chǎn) 第三方瞬間漲價

雖然沒有官方宣布，但Redmi的一些高管也已經(jīng)透露了，Redmi K60 Pro已經(jīng)停產(chǎn)且不會補貨，這一切都是為了即將到來的K60 Ultra鋪路，屬于廠家的正常操作。但有意思的是該機在停產(chǎn)之后
6月安卓手機好評榜：魅族20 Pro蟬聯(lián)冠軍

性能榜和性價比榜之后，我們來看最后的安卓手機好評榜，數(shù)據(jù)來源安兔兔評測，收集時間2023年6月1日至6月30日，僅限國內(nèi)市場。第一名：魅族20 Pro好評率：95%5月份的時候魅族20 Pro就是
十個可以手動編寫的 JavaScript 數(shù)組 API

JavaScript 中有很多API，使用得當(dāng)，會很方便，省力不少。你知道它的原理嗎? 今天這篇文章，我們將對它們進(jìn)行一次小總結(jié)?，F(xiàn)在開始吧。1.forEach()forEach()用于遍歷數(shù)組接收一參
虛擬鍵盤 API 的妙用

你是否在遇到過這樣的問題：移動設(shè)備上有一個固定元素，當(dāng)激活虛擬鍵盤時，該元素被隱藏在了鍵盤下方？多年來，這一直是 Web 上的默認(rèn)行為，在本文中，我們將探討這個問題、為什么會發(fā)生
一文搞定Java NIO，以及各種奇葩流

大家好，我是哪吒。很多朋友問我，如何才能學(xué)好IO流，對各種流的概念，云里霧里的，不求甚解。用到的時候，現(xiàn)百度，功能雖然實現(xiàn)了，但是為什么用這個？不知道。更別說效率問題了~下次再遇到，
電視息屏休眠仍有網(wǎng)絡(luò)上傳愛奇藝被質(zhì)疑“薅消費者羊毛”

記者丨寧曉敏見習(xí)生丨汗青出品丨鰲頭財經(jīng)（theSankei）前不久，愛奇藝發(fā)布了一份亮眼的一季報，不僅營收和會員營收創(chuàng)造歷史最佳表現(xiàn)，其運營利潤也連續(xù)6個月實現(xiàn)增長。自去年年初
三星Galaxy Z Fold5今日亮相：厚度縮減但仍略顯厚重

據(jù)官方此前宣布，三星將于7月26日也就是今天在韓國首爾舉辦Unpacked活動，屆時將帶來帶來包括Galaxy Buds 3、Galaxy Watch 6、Galaxy Tab S9、Galaxy
iQOO 11S屏幕細(xì)節(jié)公布：首發(fā)三星2K E6全感屏安卓最好的直屏手機

日前iQOO手機官方宣布，新一代電競旗艦iQOO 11S將會在7月4日19:00正式與大家見面。隨著發(fā)布時間的日益臨近，官方關(guān)于該機的預(yù)熱也更加密集，截至目前已
聯(lián)想的ThinkBook Plus下一版曝光，鍵盤旁邊塞個平板

ThinkBook Plus 是聯(lián)想的一個特殊筆記本類別，它在封面放入了一塊墨水屏，也給人留下了較為深刻的印象。據(jù)有人爆料，聯(lián)想的下一款 ThinkBook Plus 可能更特殊，它

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

華為提出全新壓縮算法：節(jié)省70%內(nèi)存占用

K60 Pro官方停產(chǎn) 第三方瞬間漲價

6月安卓手機好評榜：魅族20 Pro蟬聯(lián)冠軍

十個可以手動編寫的 JavaScript 數(shù)組 API

虛擬鍵盤 API 的妙用

一文搞定Java NIO，以及各種奇葩流

電視息屏休眠仍有網(wǎng)絡(luò)上傳愛奇藝被質(zhì)疑“薅消費者羊毛”

三星Galaxy Z Fold5今日亮相：厚度縮減但仍略顯厚重

iQOO 11S屏幕細(xì)節(jié)公布：首發(fā)三星2K E6全感屏安卓最好的直屏手機

聯(lián)想的ThinkBook Plus下一版曝光，鍵盤旁邊塞個平板

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊