2 月 4 日消息，DeepSeek 開(kāi)源模型（如 V3、R1 系列）在多語(yǔ)言理解與復(fù)雜推理任務(wù)中展現(xiàn)了卓越性能。摩爾線程智能科技（北京）有限責(zé)任公司今日發(fā)文宣布，摩爾線程實(shí)現(xiàn)了對(duì) DeepSeek 蒸餾模型推理服務(wù)部署。xa828資訊網(wǎng)——每日最新資訊28at.com

xa828資訊網(wǎng)——每日最新資訊28at.com

從摩爾線程官方獲悉，通過(guò) DeepSeek 提供的蒸餾模型，能夠?qū)⒋笠?guī)模模型的能力遷移至更小、更高效的版本，在國(guó)產(chǎn) GPU 上實(shí)現(xiàn)高性能推理。xa828資訊網(wǎng)——每日最新資訊28at.com

開(kāi)源框架適配：基于 Ollama 開(kāi)源框架，摩爾線程完成 DeepSeek-R1-Distill-Qwen-7B 蒸餾模型的部署，并在多種中文任務(wù)中展現(xiàn)了優(yōu)異的性能，驗(yàn)證摩爾線程自研全功能 GPU 的通用性與 CUDA 兼容性。xa828資訊網(wǎng)——每日最新資訊28at.com

自研引擎加速：通過(guò)摩爾線程自主研發(fā)的高性能推理引擎，結(jié)合軟硬件協(xié)同優(yōu)化技術(shù)，通過(guò)定制化的算子加速和內(nèi)存管理，顯著提升了模型的計(jì)算效率和資源利用率。這一引擎不僅支持 DeepSeek 蒸餾模型的高效運(yùn)行，還為未來(lái)更多大規(guī)模模型的部署提供了技術(shù)保障。xa828資訊網(wǎng)——每日最新資訊28at.com

另外，用戶也可以基于 MTT S80 和 MTT S4000 進(jìn)行 DeepSeek-R1 蒸餾模型的推理部署，此前已有用戶在 MTT S80 上手動(dòng)完成實(shí)踐。xa828資訊網(wǎng)——每日最新資訊28at.com

xa828資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-10443-0.html國(guó)產(chǎn) GPU 助力，摩爾線程實(shí)現(xiàn)對(duì) DeepSeek 蒸餾模型推理服務(wù)部署

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI 申請(qǐng)新商標(biāo)，暗示將涉足人形機(jī)器人、智能珠寶等領(lǐng)域

下一篇： Meta 發(fā)布前沿 AI 框架：會(huì)暫停開(kāi)發(fā)其認(rèn)為風(fēng)險(xiǎn)過(guò)高的 AI 系統(tǒng)