3 月 31 日消息,Databricks 近日在推出了一款通用大語言模型 DBRX,號稱是“目前最強開源AI”,據稱在各種基準測試中都超越了“市面上所有的開源模型”。
從官方新聞稿中得知,DBRX 是一個基于 Transformer 的大語言模型,采用 MoE(Mixture of Experts)架構,具備 1320 億個參數,并在 12T Token 的源數據上進行預訓練。
研究人員對這款模型進行測試,相較于市場上已有的 LLaMA2-70B、Mixtral、Grok-1 等開源模型,DBRX 在語言理解(MMLU)、程式設計(HumanEval)及數學邏輯(GSM8K)等基準測試上的表現較為突出。官方同時提到,DBRX 在上述 3 項基準測試中也超越了 OpenAI 的 GPT-3.5。
Databricks AI 部分副總裁 Naveen Rao 向外媒 TechCrunch 透露,該公司花了兩個月及 1000 萬美元的成本來訓練 DBRX,雖然目前 DBRX 在整體成績方面發揮較好,不過目前該模型需要使用 4 塊英偉達 H100 GPU 運行,因此還有待優化空間。
本文鏈接:http://www.www897cc.com/showinfo-45-3786-0.htmlDatabricks 推出 1320 億參數大語言模型 DBRX,號稱“現階段最強開源 AI”
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 防止聊天機器人“造謠”,谷歌 Deepmind、斯坦福大學研究人員推出 AI 事實核查工具
下一篇: 谷歌:手機運行人工智能模型將占用大量內存