這場虛擬人爭奪戰，互聯網巨頭下場先贏一半？
撰文/ 孟會緣 近兩年間，要論引得無數互聯網巨頭競折腰的一大熱門產業，莫過于元宇宙領域中的數字人了。 作為繼數字藏品之后，開發元宇宙的又一重點落地項目，互聯網
清華大學高性能計算研究所傳來重要消息，翟季冬教授團隊攜手清華系科創先鋒清程極智，共同宣布了一項重大開源成果——大模型推理引擎“赤兔 Chitu”。
這款引擎開創性地實現了在非英偉達Hopper架構GPU及眾多國產芯片上的FP8精度模型原生運行，顯著降低了推理成本，性能更是實現了翻倍。據悉，赤兔引擎被精準定位為“生產級大模型推理引擎”，旨在為用戶帶來多重優勢。
首先，赤兔引擎具備強大的多元算力適配能力。無論是NVIDIA的最新旗艦產品，還是舊款的多系列產品，亦或是國產芯片，赤兔引擎都能提供優化的支持，確保了廣泛的兼容性。
其次，赤兔引擎全場景可伸縮的特性使其應用場景更加靈活。無論是純CPU部署、單GPU部署，還是大規模集群部署，赤兔引擎都能提供可擴展的解決方案，滿足不同場景下的需求。
赤兔引擎的長期穩定運行能力也是其一大亮點。在實際生產環境中，赤兔引擎的穩定性足以承載高并發的業務流量，確保了業務的連續性和穩定性。
在部署DeepSeek-R1-671B滿血版時，赤兔引擎在A800集群的測試中展現出了卓越的性能。與部分國外開源框架相比，赤兔引擎在實現GPU使用量減少50%的同時，推理速度還提升了3.15倍，這一成績無疑令人矚目。
對于廣大開發者和用戶而言，赤兔引擎的開源無疑是一個巨大的福音。現在，大家可以通過訪問GitHub上的開源地址（https://github.com/thu-pacman/chitu），輕松獲取并體驗這款強大的大模型推理引擎。
本文鏈接：http://www.www897cc.com/showinfo-45-11507-0.html清華開源赤兔大模型推理引擎，國產芯片上DeepSeek推理成本減半性能翻倍
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號