5 月 3 日消息,面壁智能發布開源大模型 Eurux-8x22B,包括Eurux-8x22B-NCA與Eurux-8x22B-KTO,主打推理能力。
官方測試中,Eurux-8x22B 在LeetCode(180 道 LeetCode 編程真題)與TheoremQA (注:美國大學水準的 STEM 題目)測試上超越了Llama3-70B,在LeetCode 測試上超越閉源的 GPT-3.5-Turbo。
據介紹,Eurux-8x22B 模型激活參數 39B,支持 64k 上下文,是由 Mixtral-8x22B 模型對齊而來,在 UltraInteract 對齊數據集上訓練而成。
UltraInteract 是專門設計用于提升大模型推理能力的大規模、高質量的對齊數據集,包含了覆蓋數學、代碼和邏輯推理問題的 12 個開源數據集的 86K 條指令和 220K 偏好對,共有五十萬條左右數據。
本文鏈接:http://www.www897cc.com/showinfo-45-4209-0.html面壁智能發布 Eurux-8x22B 開源大模型:代碼性能超越 Llama3-70B
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com