6 月 28 日消息,谷歌公司昨日發(fā)布新聞稿,面向全球研究人員和開發(fā)人員發(fā)布 Gemma 2 大語言模型,共有 90 億參數(shù)(9B)和 270 億參數(shù)(27B)兩種大小。
Gemma 2 大語言模型相比較第一代,推理性能更高、效率更高,并在安全性方面取得了重大進步。
谷歌在新聞稿中表示,Gemma 2-27B 模型的性能媲美兩倍規(guī)模的主流模型,而且只需要一片英偉達 H100 ensor Core GPU 或 TPU 主機就能實現(xiàn)這種性能,從而大大降低了部署成本。
Gemma 2-9B 模型優(yōu)于 Llama 3 8B 和其他類似規(guī)模的開源模型。谷歌還計劃在未來幾個月發(fā)布參數(shù)為 26 億的 Gemma 2 模型,更適合智能手機的人工智能應(yīng)用場景。
谷歌表示為 Gemma 2 重新設(shè)計了整體架構(gòu),實現(xiàn)卓越的性能和推理效率。附上 Gemma 2 主要特點如下:
性能優(yōu)異:27B 版本在同規(guī)模級別中性能最佳,甚至比兩倍于其尺寸的機型更具競爭力。9B 版本的性能在同類產(chǎn)品中也處于領(lǐng)先地位,超過了 Llama 3 8B 和其他同規(guī)模的開放模型。
27B Gemma 2 模型可在單個谷歌云 TPU 主機、英偉達 A100 80GB Tensor Core GPU 或英偉達 H100 Tensor Core GPU 上以全精度高效運行推理,在保持高性能的同時大幅降低成本。這使得人工智能部署更容易實現(xiàn),預(yù)算也更合理。
跨硬件快速推理Gemma 2 經(jīng)過優(yōu)化,可在各種硬件(從功能強大的游戲筆記本電腦和高端臺式機到基于云的設(shè)置)上以驚人的速度運行。
在 Google AI Studio 中嘗試全精度的 Gemma 2,在 CPU 上使用 Gemma.cpp 的量化版本解鎖本地性能,或通過 Hugging Face Transformers 在配備 NVIDIA RTX 或 GeForce RTX 的家用電腦上進行嘗試。
本文鏈接:http://www.www897cc.com/showinfo-45-4876-0.html90 270 億參數(shù),谷歌發(fā)布 Gemma 2 開源 AI 模型:性能力壓同級、單 A100 H100 GPU 可運行
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com