人間誠實周鴻祎：360 All in 大模型的六個解讀
主筆 / 村口有牛文章架構師 / 毛自聰出品 / 巨頭財經(jīng)5月至今，人間躁動，各路大模型你方唱罷我登場，VC圈互聯(lián)網(wǎng)圈媒體圈已近癲狂。誰也沒想到，今日，360再度刷屏，老牌互聯(lián)網(wǎng)巨頭展現(xiàn)
3 月 22 日消息，當?shù)貢r間周四，AMD 宣布推出專為本地運行大語言模型（LLM）設計的應用GAIA（發(fā)音為/?ɡa?.?/）并在 Github 開源，目前僅限于 Windows 平臺。
GAIA 是一款生成式 AI 應用，能夠在 Windows PC 上實現(xiàn)本地化私密運行 LLM，并針對銳龍 AI 300 系列處理器進行了優(yōu)化，標志著 AMD 在邊緣計算領域的又一重要布局。
在 NPU 上運行 GAIA 可提高 AI 特定任務的性能。從 Ryzen AI 軟件版本 1.3 開始，混合支持部署同時使用 NPU 和核顯的量化 LLM。
其核心組件基于 ONNX TurnkeyML 的 Lemonade SDK 開發(fā)，采用檢索增強生成（RAG）技術框架，通過本地向量索引實現(xiàn) YouTube、GitHub 等外部數(shù)據(jù)的實時檢索與分析。
系統(tǒng)工作流包含 LLM 連接器、LlamaIndex RAG 管道和代理 Web 服務器三大模塊，支持 Llama、Phi 等主流模型。功能模塊包含四大 AI 智能體：
Chaty：支持歷史對話的聊天機器人
Clip：YouTube 視頻搜索與問答專家
Joker：具備幽默風格的笑話生成器
Simple Prompt：模型直接交互測試工具
硬件方面，AMD 提供普通版與混合版兩種安裝方案。普通安裝包兼容任意 Windows PC（含非 AMD 硬件設備），通過Ollama后端實現(xiàn)跨平臺支持。
混合安裝包專為配備銳龍 AI 300 系列處理器的設備進行優(yōu)化，可智能分配 NPU 與集成顯卡的計算負載。AMD 表示，Ryzen AI 軟件自 1.3 版本起支持量化模型在 NPU 和集成顯卡間的混合部署。
隱私與性能優(yōu)勢方面：
本地化處理確保醫(yī)療、金融等敏感行業(yè)數(shù)據(jù)不出境
響應延遲降低至毫秒級（相較云端方案縮短 40-60%）
NPU 專用架構實現(xiàn)每瓦性能提升，支持離線環(huán)境運行
該項目采用 MIT 開源協(xié)議，代碼庫已在 GitHub 開放。AMD 特別鼓勵開發(fā)者貢獻自定義代理模塊，目前已有多個行業(yè)定制化代理處于開發(fā)階段。
此外，盡管 GAIA 目前暫不支持 Linux / macOS 系統(tǒng)，但 AMD 官方文檔透露未來可能擴展多平臺支持。
附 Github 地址：https://github.com/amd/gaia
本文鏈接：http://www.www897cc.com/showinfo-45-11632-0.htmlAMD 推出開源項目“GAIA”實現(xiàn)本地大模型高效運行：針對銳龍 AI 300 系列處理器優(yōu)化，目前僅適用于 Windows
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號