3 月 14 日消息，清華大學(xué)高性能計(jì)算研究所翟季冬教授團(tuán)隊(duì)、清華系科創(chuàng)企業(yè)清程極智今日聯(lián)合宣布，大模型推理引擎“赤兔 Chitu”現(xiàn)已開源。dQe28資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹，該引擎首次實(shí)現(xiàn)在非英偉達(dá) Hopper 架構(gòu) GPU 及各類國(guó)產(chǎn)芯片上原生運(yùn)行 FP8 精度模型，實(shí)現(xiàn) DeepSeek 推理成本降低一半、性能翻番。其定位為“生產(chǎn)級(jí)大模型推理引擎”，提供如下特性：dQe28資訊網(wǎng)——每日最新資訊28at.com

多元算力適配：不僅支持 NVIDIA 最新旗艦到舊款的多系列產(chǎn)品，也為國(guó)產(chǎn)芯片提供優(yōu)化支持。dQe28資訊網(wǎng)——每日最新資訊28at.com

全場(chǎng)景可伸縮：從純 CPU 部署、單 GPU 部署到大規(guī)模集群部署，赤兔引擎提供可擴(kuò)展的解決方案。dQe28資訊網(wǎng)——每日最新資訊28at.com

長(zhǎng)期穩(wěn)定運(yùn)行：可應(yīng)用于實(shí)際生產(chǎn)環(huán)境，穩(wěn)定性足以承載并發(fā)業(yè)務(wù)流量。dQe28資訊網(wǎng)——每日最新資訊28at.com

官方表示，當(dāng)前開源的赤兔引擎在部署 DeepSeek-R1-671B 滿血版時(shí)，在 A800 集群的測(cè)試中，相比部分國(guó)外開源框架，實(shí)現(xiàn)了 GPU 使用量減少 50% 的同時(shí)，推理速度提升 3.15 倍。dQe28資訊網(wǎng)——每日最新資訊28at.com

附開源地址：https://github.com/thu-pacman/chitudQe28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-11560-0.html清華團(tuán)隊(duì)開源大模型推理引擎“赤兔 Chitu”，實(shí)現(xiàn) DeepSeek 推理成本降低一半、性能翻番

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 【IT之家評(píng)測(cè)室】訊飛曉醫(yī)體驗(yàn)評(píng)測(cè)：星火醫(yī)療大模型 X1 加持，更懂你的 AI 健康助手

下一篇： 網(wǎng)信辦等四部門印發(fā)《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》，9 月起施行