4 月 23 日消息,微軟研究院近日發布技術報告,公布了 Phi-3 系列 AI 模型,共有 mini(38 億參數)、small(70 億參數)和 medium(140 億參數)三個版本。
微軟表示擁有 38 億參數的 phi-3-mini 通過 3.3 萬億個 tokens 上訓練,其基準跑分性能超出 Mixtral 8x7B 和 GPT-3.5。
微軟表示 phi-3-mini 模型可以部署在手機等設備上,在 27 億參數的 Phi-2 模型上,進一步整合了嚴格過濾的網絡數據和合成數據。
微軟也坦言 phi-3-mini 模型雖然通過優質數據在語言理解和推理能力上媲美更大參數的 AI 模型,但在 TriviaQA 等某些任務上依然受到模型規模的限制。
微軟還表示 phi-3-small 和 phi-3-medium 兩個模型在 MMLU 上的得分分別為 75.3 和 78.2。
附上參考
Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone
相關閱讀:
《微軟發文:27 億參數的 Phi-2 AI 模型性能優于谷歌 32 億參數的 Gemini Nano-2》
《27 億參數,微軟發布 Phi-2 模型:某些性能指標優于 Llama-2-7B》
本文鏈接:http://www.www897cc.com/showinfo-45-4130-0.htmliPhone 上本地每秒生成 12 個 tokens,微軟發布 phi-3-mini 模型:38 億參數
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com