當(dāng)前位置：首頁 > 元宇宙 > AI

清華突破！RTX 4090單卡就能運(yùn)行滿血版DeepSeek，AI算力門檻大幅降低

來源：責(zé)編：時(shí)間：2025-02-16 08:42:50 89觀看

導(dǎo)讀近日，清華大學(xué)的一支科研團(tuán)隊(duì)在人工智能領(lǐng)域取得了突破性進(jìn)展，成功解決了大模型推理的算力瓶頸問題，這一成就無疑給英偉達(dá)等傳統(tǒng)高性能計(jì)算解決方案提供商帶來了不小的沖擊。據(jù)相關(guān)媒體報(bào)道，清華大學(xué)的KVCache.AI團(tuán)隊(duì)攜手

近日，清華大學(xué)的一支科研團(tuán)隊(duì)在人工智能領(lǐng)域取得了突破性進(jìn)展，成功解決了大模型推理的算力瓶頸問題，這一成就無疑給英偉達(dá)等傳統(tǒng)高性能計(jì)算解決方案提供商帶來了不小的沖擊。

據(jù)相關(guān)媒體報(bào)道，清華大學(xué)的KVCache.AI團(tuán)隊(duì)攜手趨境科技，對其開源項(xiàng)目KTransformers進(jìn)行了重大更新。此次更新標(biāo)志著在24G顯存的硬件設(shè)備（例如RTX 4090D）上，也能流暢運(yùn)行DeepSeek-R1和V3的671B滿血版模型，這無疑是一次具有里程碑意義的突破。

KTransformers項(xiàng)目的核心在于其創(chuàng)新的異構(gòu)計(jì)算策略。團(tuán)隊(duì)巧妙地利用了稀疏性，即在混合專家（MoE）架構(gòu)中，每次僅激活部分專家模塊，而非全部。他們將這些非共享的稀疏矩陣卸載到CPU內(nèi)存中，并結(jié)合高速算子進(jìn)行處理，從而成功將顯存占用壓縮至24GB以內(nèi)。

團(tuán)隊(duì)還采用了4bit量化技術(shù)和Marlin GPU算子，這一優(yōu)化使得計(jì)算效率提升了3.87倍。在CPU端，他們通過llamafile實(shí)現(xiàn)了多線程并行，預(yù)處理速度高達(dá)每秒286個(gè)詞元。這些技術(shù)上的創(chuàng)新，共同推動了KTransformers項(xiàng)目的性能飛躍。

不僅如此，團(tuán)隊(duì)還引入了CUDA Graph加速技術(shù)，這一技術(shù)顯著減少了CPU與GPU之間的通信開銷。現(xiàn)在，單次解碼僅需一次完整的CUDA Graph調(diào)用，生成速度達(dá)到了每秒14個(gè)詞元。這些優(yōu)化措施，使得大模型推理變得更加高效和便捷。

這一突破帶來的后果是顯而易見的。在過去，運(yùn)行如此大規(guī)模的語言模型需要依賴昂貴的8卡A100服務(wù)器，其成本超過百萬，且按需計(jì)費(fèi)每小時(shí)可達(dá)數(shù)千元。而現(xiàn)在，只需一張RTX 4090顯卡，整機(jī)成本約為2萬元，功耗僅為80W，這使得中小團(tuán)隊(duì)和個(gè)人開發(fā)者也能輕松承擔(dān)和運(yùn)行這些大規(guī)模模型。

NVIDIA RTX 4090成功運(yùn)行DeepSeek-R1滿血版的案例，不僅彰顯了清華大學(xué)團(tuán)隊(duì)的技術(shù)實(shí)力和創(chuàng)新精神，更是開源精神與硬件潛能完美結(jié)合的典范。這一成就證明，在人工智能飛速發(fā)展的今天，創(chuàng)新往往源自于對“不可能”的勇敢挑戰(zhàn)。

這一突破無疑將推動人工智能技術(shù)的進(jìn)一步發(fā)展，使得更多有志于AI研究的團(tuán)隊(duì)和個(gè)人能夠參與到這一前沿領(lǐng)域的探索中來。我們期待著未來在清華團(tuán)隊(duì)的引領(lǐng)下，人工智能領(lǐng)域能夠涌現(xiàn)出更多令人矚目的創(chuàng)新成果。

舉報(bào) 0收藏 0打賞 0評論 0

更多>同類資訊

清華新突破！RTX 4090也能駕馭大模型DeepSeek，算力門檻大幅降低

02-15

好未來學(xué)而思發(fā)布“隨時(shí)問”APP，AI教育應(yīng)用能否持續(xù)免費(fèi)？

在熊澤法看來，目前基于生成式 AI 的教育產(chǎn)品發(fā)展才剛剛開始，基于DeepSeek開源這一出發(fā)點(diǎn)，價(jià)格、模型性能、應(yīng)用體驗(yàn)等之間的權(quán)衡是因?yàn)橛脩舻男枰瑢W(xué)而思“隨時(shí)問”應(yīng)用App希望提供給用戶最高最好的產(chǎn)品…

02-15

馬斯克喜迎第13子，美作家低調(diào)官宣：愿孩子健康成長遠(yuǎn)離侵?jǐn)_

02-15

松山湖材料實(shí)驗(yàn)室重磅推出：MatChat AI，材料科學(xué)智能問答新紀(jì)元

02-15

小米澎湃OS超級小愛，終于迎來DeepSeek-R1大模型支持！

02-15

思維鏈結(jié)構(gòu)引領(lǐng)AI推理新突破，LLM高效訓(xùn)練不再遙不可及

02-15

AI兒科醫(yī)生“首秀”成功，助力破解兒科醫(yī)療資源短缺難題

02-15

馬斯克迎來第13個(gè)孩子，生母為美作家Ashley St. Clair

02-15

阿里股價(jià)飆升背后：AI大模型成新引擎？

這次阿里股價(jià)的上漲并非是電商業(yè)務(wù)導(dǎo)致，而是中國AI大模型推動。一是除了蘋果與阿里合作帶來的市場刺激，第二則是阿里通義模型自身在國產(chǎn)大模型中的優(yōu)勢。目前，國內(nèi)大模型C端形成了3+2的格局，另外兩個(gè)是阿里的通義…

02-15

馬斯克974億美金收購OpenAI遭拒！

02-15

OpenAI拒絕馬斯克974億收購要約：非營利轉(zhuǎn)營利之路引關(guān)注

02-15

小米「超級小愛」DeepSeek-R1模型功能悄然下線，用戶直呼遺憾！

02-15

科大訊飛回應(yīng)：是否研發(fā)AI手機(jī)終端，將審慎評估用戶需求與技術(shù)成熟度

02-15

科大訊飛回應(yīng)學(xué)習(xí)機(jī)屏幕碎裂：所有硬件均經(jīng)嚴(yán)格測試，售后熱線已提供

02-15

百度文心一言商標(biāo)批量轉(zhuǎn)讓至旗下公司，通訊服務(wù)領(lǐng)域布局加速

三言科技消息天眼查知識產(chǎn)權(quán)信息顯示，近日，百度在線網(wǎng)絡(luò)技術(shù)（北京）有限公司向北京百度網(wǎng)訊科技有限公司轉(zhuǎn)讓多枚“文心一言”商標(biāo)，國際分類均為通訊服務(wù)，上述商標(biāo)申請于2023年2月至3月，當(dāng)前商標(biāo)狀態(tài)多為已注冊…

02-15

點(diǎn)擊查看更多 +

全站最新