10億基金，李彥宏呼喚下一個AI獨角獸
©?深響原創 · 作者｜何文 AI太熱了。 在海外，OpenAI估值已超270億美元、英偉達市值破萬億、微軟把GPT整合進了全線產品。在國內，百度、阿里、華為、商湯等大公司，以及
4 月 19 日消息，谷歌公司昨日（4 月 18 日）發布博文，發布了量化感知訓練（QAT）優化版 Gemma 3 模型，在保持高質量的同時，降低內存需求。
谷歌上月推出 Gemma 3 開源模型，能在單臺 NVIDIA H100 GPU 上以 BFloat16（BF16）精度高效運行。
援引博文介紹，谷歌為響應用戶需求，致力于讓 Gemma 3 的強大性能適配普通硬件。量化技術是關鍵，通過降低模型參數的數值精度（如從 BF16 的 16 位降至 int4 的 4 位），類似圖像壓縮減少顏色數量，大幅減少數據存儲量。
以 int4 量化為例，Gemma 3 27B 顯存需求從 54GB 銳減至 14.1GB，Gemma 3 12B 則從 24GB 降至 6.6GB；Gemma 3 1B 僅需 0.5GB 顯存。
這意味著用戶可在桌面（NVIDIA RTX 3090）或筆記本（NVIDIA RTX 4060 Laptop GPU）上運行強大 AI 模型，甚至手機也能支持小型模型。
為避免量化導致性能下降，谷歌采用量化感知訓練（QAT）技術，在訓練過程中模擬低精度運算，確保模型在壓縮后仍保持高準確性。Gemma 3 QAT 模型在約 5000 步訓練中，將困惑度下降減少了 54%。
Ollama、LM Studio 和 llama.cpp 等主流平臺已集成該模型，用戶可通過 Hugging Face 和 Kaggle 獲取官方 int4 和 Q4_0 模型，輕松在 Apple Silicon 或 CPU 上運行。此外，Gemmaverse 社區提供了更多量化選項，滿足不同需求。
本文鏈接：http://www.www897cc.com/showinfo-45-12448-0.html27B 顯存需求 54 → 14.1GB：谷歌發布 Gemma 3 QAT AI 模型，RTX 3090 顯卡可運行
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號