8 月 6 日消息,摩爾線程 MUSA 架構是 MT GPU 支持的通用計算架構,摩爾線程剛剛確認 llama.cpp 已經適配了這種計算架構,“直通全球 AI 生態圈”。
注:llama.cpp 是一個純 C / C++ 實現的項目,旨在簡化大語言模型 (LLM) 的推理過程,并在多種硬件環境下提供最先進的性能支持,無論是本地部署還是云端運行。其主要目標是以最小的設置和依賴,讓用戶在廣泛的硬件平臺上輕松進行 LLaMA 等大模型的推理。
大語言模型因其出色的自然語言理解和生成能力而迅速被廣泛使用,llama.cpp 大幅降低了進行大語言模型推理的門檻,能夠充分利用硬件的性能來助力用戶的大語言模型應用。
llama.cpp 支持多種語言模型,包括 LLaMA、Mistral、Falcon、Gemma、Qwen、Baichuan、Aquila 等主流模型,以及各種多模態模型如 LLaVA 和 MobileVLM,覆蓋廣泛的推理需求。
摩爾線程 MUSA 架構是 MT GPU 支持的通用計算架構,llama.cpp 適配了這種計算架構。在 MTT S80 / S3000 / S4000 GPU 上,用戶可以通過 llama.cpp 官方提供的一系列容器鏡像來使用。
今年 4 月,MUSA SDK 升級到了 4.0.1 版本,支持 Intel 處理器+Ubuntu 操作系統、海光處理器+Kylin 麒麟操作系統組成的平臺。
本文鏈接:http://www.www897cc.com/showinfo-45-25983-0.html摩爾線程:MUSA 成功適配 llama.cpp,直通全球 AI 生態圈
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 面壁智能開源 MiniCPM-V 4.0 AI 模型:手機 App 就能用,圖像理解超 GPT-4.1-mini