在科技界的萬眾矚目下,DeepSeek開源周的精彩繼續(xù)上演,此次推出的高性能矩陣計算庫DeepGEMM,無疑成為了眾人矚目的焦點。這款被譽為“AI數(shù)學(xué)加速器”的開源工具,旨在為大模型訓(xùn)練和推理提供前所未有的速度提升。
DeepGEMM在Hopper架構(gòu)的GPU上實現(xiàn)了驚人的FP8精度下1350+ TFLOPS的算力表現(xiàn)。這一數(shù)字遠(yuǎn)超當(dāng)前市面上的主流顯卡,如RTX 4090的400-500 TFLOPS,展現(xiàn)了其卓越的性能優(yōu)勢。FP8精度,即8位浮點數(shù)格式,通過犧牲微小的精度換取了3倍以上的速度提升,這一策略在AI場景中尤為適用,因為AI應(yīng)用通常對誤差具有一定的容忍性。
更令人驚嘆的是,DeepGEMM的核心邏輯僅用300行代碼實現(xiàn),卻通過全流程JIT編譯優(yōu)化,達(dá)到了比手工調(diào)優(yōu)算子更高的效能。這一極簡代碼哲學(xué),不僅摒棄了冗余設(shè)計,還專注于底層優(yōu)化,重新定義了高性能計算的邊界。開發(fā)者可以輕松地將DeepGEMM集成到現(xiàn)有框架中,無需額外的依賴項。
DeepGEMM還支持雙模式,即稠密矩陣布局和混合MoE布局,以適應(yīng)不同模型的需求。稠密矩陣布局適用于全量數(shù)據(jù)的統(tǒng)一計算,而混合MoE布局則能夠分任務(wù)處理,提高了計算的靈活性。
在FP8精度下,DeepGEMM還展現(xiàn)出了“省電模式”的優(yōu)勢。低精度計算大幅降低了顯存占用和功耗,使得萬億參數(shù)的大模型在24G顯存的單卡上也能實現(xiàn)28倍的推理加速。這一特性在KTransformers項目中得到了驗證。
DeepGEMM在MoE模型上進(jìn)行了殺手級優(yōu)化。通過連續(xù)/掩碼雙布局,解決了專家模型計算中的通信瓶頸,使得萬億參數(shù)的MoE推理速度如閃電般迅速。這一優(yōu)化不僅提升了性能,還進(jìn)一步降低了計算成本。
DeepGEMM的開源,預(yù)示著DeepSeek在算力領(lǐng)域的又一次重大突破。據(jù)悉,DeepSeek正在加速推出其R1模型的升級版——DeepSeek R2,預(yù)計將在5月發(fā)布。這一升級版將借助DeepGEMM的強(qiáng)大算力,進(jìn)一步提升模型訓(xùn)練和推理的速度。
與此同時,DeepSeek也重新開放了API充值入口。此前,由于資源緊張,該入口一度關(guān)閉。目前,deepseek-chat模型的優(yōu)惠期已經(jīng)結(jié)束,調(diào)用價格已調(diào)整為每百萬輸入tokens 2元,每百萬輸出tokens 8元。這一調(diào)整旨在更好地滿足用戶的需求,同時也為DeepSeek的持續(xù)發(fā)展提供了資金支持。
本文鏈接:http://www.www897cc.com/showinfo-45-11136-0.htmlDeepGEMM開源,300行代碼解鎖AI推理新速度!
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com