智能人機交互技術的春晚大考
1月初的一個早晨，京東智能客戶服務產品部緊急開會，進行關于尚未對外公布的“X項目”的初討論。1月5日，這個神秘的X項目對外公布，京東成為央視2022年春晚獨家互動合
5 月 17 日消息，科技媒體 WinBuzzer 昨日（5 月 16 日）發布博文，報道稱開源大語言模型服務工具 Ollama 推出自主研發的多模態 AI 定制引擎，擺脫對 llama.cpp 框架的直接依賴。
llama.cpp 項目近期通過 libmtmd 庫整合了全面視覺支持，而 Ollama 與其關系也引發社區討論。
Ollama 團隊成員在 Hacker News 上澄清，Ollama 使用 golang 獨立開發，未直接借鑒 llama.cpp 的 C++ 實現，并感謝社區反饋改進技術。
Ollama 在官方聲明中指出，隨著 Meta 的 Llama 4、Google 的 Gemma 3、阿里巴巴的 Qwen 2.5 VL 以及 Mistral Small 3.1 等模型的復雜性增加，現有架構難以滿足需求。
因此 Ollama 推出全新引擎，針對在本地推理精度上實現突破，尤其是在處理大圖像生成大量 token 時表現突出。
Ollama 引入圖像處理附加元數據，優化批量處理和位置數據管理，避免圖像分割錯誤導致輸出質量下降，此外，KVCache 優化技術加速了 transformer 模型推理速度。
新引擎還大幅優化內存管理新增圖像緩存功能，確保圖像處理后可重復使用，避免提前丟棄。Ollama 還聯合 NVIDIA、AMD、Qualcomm、Intel 和 Microsoft 等硬件巨頭，通過精準檢測硬件元數據，優化內存估算。
針對 Meta 的 Llama 4 Scout（1090 億參數混合專家模型 MoE）等模型，引擎還支持分塊注意力（chunked attention）和 2D 旋轉嵌入（2D rotary embedding）等技術。
Ollama 未來計劃支持更長的上下文長度、復雜推理過程及工具調用流式響應，進一步提升本地 AI 模型的多功能性。
本文鏈接：http://www.www897cc.com/showinfo-45-13010-0.htmlOllama 上線自研多模態 AI 引擎：逐步擺脫 llama.cpp 框架依賴，本地推理性能飆升
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號