當(dāng)前位置：首頁(yè) > 元宇宙 > AI

DeepSeek 再放降本大招：NSA 官宣發(fā)布，加速推理降低成本，并且不犧牲性能

來(lái)源：責(zé)編：時(shí)間：2025-02-20 09:33:28 74觀看

導(dǎo)讀 2 月 18 日消息，DeepSeek 今日官宣推出NSA（Native Sparse Attention），這是一種硬件對(duì)齊且原生可訓(xùn)練的稀疏注意力機(jī)制，用于超快速長(zhǎng)上下文訓(xùn)練與推理。NSA 的核心組件包括：動(dòng)態(tài)分層稀疏策略粗粒度 token 壓縮細(xì)粒度

2 月 18 日消息，DeepSeek 今日官宣推出NSA（Native Sparse Attention），這是一種硬件對(duì)齊且原生可訓(xùn)練的稀疏注意力機(jī)制，用于超快速長(zhǎng)上下文訓(xùn)練與推理。

NSA 的核心組件包括：

動(dòng)態(tài)分層稀疏策略

粗粒度 token 壓縮

細(xì)粒度 token 選擇

DeepSeek 官方表示，該機(jī)制可優(yōu)化現(xiàn)代硬件設(shè)計(jì)，加速推理同時(shí)降低預(yù)訓(xùn)練成本，并且不犧牲性能。在通用基準(zhǔn)、長(zhǎng)上下文任務(wù)和基于指令的推理上，其表現(xiàn)與全注意力模型相當(dāng)或更加優(yōu)秀。

附論文鏈接：

https://arxiv.org/abs/2502.11089

本文鏈接：http://www.www897cc.com/showinfo-45-10902-0.htmlDeepSeek 再放降本大招：NSA 官宣發(fā)布，加速推理降低成本，并且不犧牲性能

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇：深圳回應(yīng) AI 公務(wù)員上崗：僅輔助政務(wù)，不能單獨(dú)決策

下一篇：馬斯克首次披露 Grok 3 訓(xùn)練成本：20 萬(wàn)塊英偉達(dá) GPU

標(biāo)簽：

熱門焦點(diǎn)

元宇宙終究沒火過兩年

來(lái)源：傳播體操在ChatGPT快速破圈的同時(shí)，元宇宙的熱度卻一瀉千里。雖然互聯(lián)網(wǎng)大廠們都沒有否認(rèn)元宇宙的長(zhǎng)期想象力，但在行動(dòng)上卻都紛紛表示了對(duì)元宇宙短期前景的悲觀。號(hào)稱改變
B端難做：留給魔琺科技的時(shí)間不多了

來(lái)源：零態(tài)LT元宇宙泡沫正在碎裂，進(jìn)入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個(gè)月的工業(yè)元宇宙部門；今年3月，該公司2017年收購(gòu)的虛擬現(xiàn)實(shí)社交平臺(tái)AltspaceVR
茅臺(tái)的元宇宙App火了，也被罵慘了

元宇宙從概念走向大眾生活，并不是一件簡(jiǎn)單的事情。技術(shù)、世界觀、填充內(nèi)容、載體形式，每一個(gè)環(huán)節(jié)都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
元宇宙是數(shù)字共識(shí)生態(tài)的集成邏輯表達(dá)

作者: 李鳴元宇宙是數(shù)字共識(shí)生態(tài)的集成邏輯表達(dá)，是以區(qū)塊鏈技術(shù)為核心的可信數(shù)字化價(jià)值交互網(wǎng)絡(luò)，是基于Web3.0技術(shù)體系和運(yùn)作機(jī)制支撐下的數(shù)字新生態(tài)。本體論是
Meta正在研發(fā)元宇宙語(yǔ)音助手；廣東省462家企業(yè)申請(qǐng)?jiān)钪嫔虡?biāo)

今日《元宇宙新鮮事》有：扎克伯格透露正在為元宇宙研發(fā)語(yǔ)音助手；完美世界聲明稱不會(huì)以“元宇宙投資項(xiàng)目”等名義吸收資金。廣東省申請(qǐng)?jiān)钪嫔虡?biāo)的企業(yè)達(dá)462家位
音樂NFT平臺(tái)里的下一匹黑馬是誰(shuí)？

NFT 銷售額在 2021 年開始暴漲，從 2018 年的僅 4069 萬(wàn)美元的交易量，到 2021 年，NFT 交易量飆升至 442 億美元以上，并不斷刷新記錄并達(dá)到新的高度。預(yù)測(cè)到2025 年N
2022年元宇宙系列報(bào)告：UGC當(dāng)?shù)溃琗R帶來(lái)新交互體驗(yàn)

UGC作為元宇宙的主要內(nèi)容創(chuàng)作模式，已經(jīng)越來(lái)越多的呈現(xiàn)于游戲、娛樂、社交、傳媒等方面，UGC模式勾勒了元宇宙的邊界，現(xiàn)今元宇宙UGC模式的主要呈現(xiàn)方式以元宇宙概念
76億美金估值、2022年最具創(chuàng)新力公司，Dapper Labs如何做到？

“元宇宙的開拓者”是我們針對(duì)元宇宙的發(fā)展而設(shè)立的專欄，主要面向那些深挖元宇宙產(chǎn)業(yè)或者在元宇宙進(jìn)行“淘金”的從業(yè)者，分享這些企業(yè)或者創(chuàng)業(yè)者們的故事，以獨(dú)特
虛擬偶像行業(yè)的商用價(jià)值逐漸凸顯，IP生態(tài)圈也逐漸成型

六月的第一個(gè)周六，一場(chǎng)虛擬偶像七海Nana7mi的個(gè)人3D演唱會(huì)在萬(wàn)代南夢(mèng)宮上海文化中心舉行，相較于洛天依、百大UP主泠鳶yousa等，這位虛擬Up主在B站上的粉絲數(shù)43.6萬(wàn)

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁(yè)

元宇宙

NFT

區(qū)塊鏈

虛擬人

AR/VR

AI

元宇宙百科

DeepSeek 再放降本大招：NSA 官宣發(fā)布，加速推理降低成本，并且不犧牲性能

元宇宙終究沒火過兩年

B端難做：留給魔琺科技的時(shí)間不多了

茅臺(tái)的元宇宙App火了，也被罵慘了

元宇宙是數(shù)字共識(shí)生態(tài)的集成邏輯表達(dá)

Meta正在研發(fā)元宇宙語(yǔ)音助手；廣東省462家企業(yè)申請(qǐng)?jiān)钪嫔虡?biāo)

音樂NFT平臺(tái)里的下一匹黑馬是誰(shuí)？

2022年元宇宙系列報(bào)告：UGC當(dāng)?shù)溃琗R帶來(lái)新交互體驗(yàn)

76億美金估值、2022年最具創(chuàng)新力公司，Dapper Labs如何做到？

虛擬偶像行業(yè)的商用價(jià)值逐漸凸顯，IP生態(tài)圈也逐漸成型

最新推薦

聚焦虛擬數(shù)字人技術(shù)，這三大商機(jī)要抓住！

完美世界被元宇宙“拒之門外”

NFT的未來(lái)：傳統(tǒng)企業(yè)與去中心化機(jī)構(gòu)之間的競(jìng)賽

量子計(jì)算在未來(lái)能否提高區(qū)塊鏈技術(shù)的效率

NFT自動(dòng)售貨機(jī)來(lái)啦！

多位全國(guó)政協(xié)委員提交元宇宙提案，國(guó)金證券稱元宇宙仍處初期投資階段

猜你喜歡

熱門推薦

相關(guān)資訊