當前位置：首頁 > 元宇宙 > AI

DeepSeek 再放降本大招：NSA 官宣發(fā)布，加速推理降低成本，并且不犧牲性能

來源：責編：時間：2025-02-20 09:33:28 50觀看

導讀 2 月 18 日消息，DeepSeek 今日官宣推出NSA（Native Sparse Attention），這是一種硬件對齊且原生可訓練的稀疏注意力機制，用于超快速長上下文訓練與推理。NSA 的核心組件包括：動態(tài)分層稀疏策略粗粒度 token 壓縮細粒度

2 月 18 日消息，DeepSeek 今日官宣推出NSA（Native Sparse Attention），這是一種硬件對齊且原生可訓練的稀疏注意力機制，用于超快速長上下文訓練與推理。

NSA 的核心組件包括：

動態(tài)分層稀疏策略

粗粒度 token 壓縮

細粒度 token 選擇

DeepSeek 官方表示，該機制可優(yōu)化現(xiàn)代硬件設計，加速推理同時降低預訓練成本，并且不犧牲性能。在通用基準、長上下文任務和基于指令的推理上，其表現(xiàn)與全注意力模型相當或更加優(yōu)秀。

附論文鏈接：

https://arxiv.org/abs/2502.11089

本文鏈接：http://www.www897cc.com/showinfo-45-10902-0.htmlDeepSeek 再放降本大招：NSA 官宣發(fā)布，加速推理降低成本，并且不犧牲性能

聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

標簽：

SQL Error: select * from ***_ecms_news13 where id in(211,96,119,236,125,200,187,,111) limit 9

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不