10 月 30 日消息,AMD 剛剛發布了一篇博客,講述了其 Ryzen AI 300 系列移動處理器在本地大語言模型(LLM)性能方面的突破。
據稱,銳龍 AI 9 HX 375 處理器在 LM Studio(一款用于本地下載和托管 LLM 的桌面應用,基于 llama.cpp,允許用 AVX2 指令來進行 CPU 加速)進行了測試,相比英特爾酷睿Ultra 7 258V 更快。
AMD 在此次測試中使用了 Meta Llama 3.2 的 1b 和 3b 模型、微軟 Phi 3.1 4k Mini Instruct 3b 模型、谷歌 Gemma 2 9b 和 Mistral 的 Nemo 2407 12b 模型,其中英特爾平臺采用了8533 MT/s 內存,而 AMD 平臺則為 7500 MT/s。
如圖所示,AI 9 HX 375 上述五個大模型的測試中都比 Ultra 7 258V 更快,無論是速度還是開始輸出文本的時間,優勢最大時領先幅度達到了 27%。
提醒,英特爾 Ultra 7 258V 處理器與 HX 375 并不完全對等,其中 258V 屬于中高端產品,而HX 375 屬于旗艦型號,AMD 直接對比似乎有點不公平。
當然,LM Studio 同樣支持GPU 加速功能,而且 LM Studio 還支持 Vulkan API 進行 GPU 加速。在啟用 GPU 加速后,AI 9 HX 375 比不使用 GPU 加速時快了 20%。
本文鏈接:http://www.www897cc.com/showinfo-24-126998-0.htmlAMD:AI 9 HX 375 處理器在 LM Studio 中 Token 生成速度比英特爾酷睿 Ultra 7 258V 快 27%
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com