6 月 22 日消息，斯坦福大學(xué)基礎(chǔ)模型研究中心（CRFM）6 月 11 日發(fā)布了大規(guī)模多任務(wù)語(yǔ)言理解能力評(píng)估（Massive Multitask Language Understanding on HELM）排行榜，其中綜合排名前十的大語(yǔ)言模型中有兩款來(lái)自中國(guó)廠(chǎng)商，分別是阿里巴巴的 Qwen2 Instruct（72B）和零一萬(wàn)物的 Yi Large（Preview）。
據(jù)悉大規(guī)模多任務(wù)語(yǔ)言理解能力評(píng)估（MMLU on HELM）采用了 Dan Hendrycks 等人提出的一種測(cè)試方法，用于衡量文本模型在多任務(wù)學(xué)習(xí)中的準(zhǔn)確性。這個(gè)測(cè)試內(nèi)容包括基礎(chǔ)數(shù)學(xué)、美國(guó)歷史、計(jì)算機(jī)科學(xué)、法律等領(lǐng)域的 57 個(gè)任務(wù)。要在這個(gè)測(cè)試中獲得高分，模型必須具備廣泛的世界知識(shí)和解決問(wèn)題的能力。附排名如下：
1、Claude 3 Opus（20240229）： Anthropic（美國(guó)，亞馬遜投資）
2、GPT-4o（2024-05-13）：OpenAI（美國(guó)）
3、Gemini 1.5 Pro：谷歌（美國(guó)）
4、GPT-4（0613）：OpenAI（美國(guó)）
5、Qwen2 Instruct（72B）：阿里巴巴（中國(guó)）
6、GPT-4 Turbo（2024-04-09）：OpenAI（美國(guó)）
7、Gemini 1.5 Pro（0409 preview）：谷歌（美國(guó)）
8、GPT-4 Turbo（1106 preview）：OpenAI（美國(guó)）
9、Llama 3（70B）：Meta（美國(guó)）
10、Yi Large（Preview）：零一萬(wàn)物（中國(guó)）
Qwen2 是由阿里巴巴開(kāi)發(fā)的一款開(kāi)源大語(yǔ)言模型，發(fā)布于今年 6 月 6 日。Qwen2 系列包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B 和 Qwen2-72B 在內(nèi)的五個(gè)不同規(guī)模的預(yù)訓(xùn)練及指令微調(diào)模型；支持除英語(yǔ)和中文外的額外 27 種語(yǔ)言的數(shù)據(jù)訓(xùn)練；Qwen2-7B-Instruct 和 Qwen2-72B-Instruct 支持長(zhǎng) 128K 個(gè) token 的上下文。
Yi Large 是由零一萬(wàn)物公司開(kāi)發(fā)的一款閉源大模型，Yi 模型系列基于 6B 和 34B 預(yù)訓(xùn)練語(yǔ)言模型，然后擴(kuò)展到聊天模型、200K 長(zhǎng)上下文模型、深度升級(jí)模型和視覺(jué)語(yǔ)言模型。官方宣稱(chēng)“其在關(guān)鍵基準(zhǔn)測(cè)試分?jǐn)?shù)上優(yōu)于 GPT-4 和 Claude 3 Opus 等領(lǐng)先模型”。
本文鏈接：http://www.www897cc.com/showinfo-45-4773-0.html斯坦福大模型評(píng)測(cè)榜 Claude 3 排名第一，阿里 Qwen2、零一萬(wàn)物 Yi Large 國(guó)產(chǎn)模型進(jìn)入前十
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： GPT-4o 差點(diǎn)沒(méi)及格！首個(gè)多任務(wù)長(zhǎng)視頻評(píng)測(cè)基準(zhǔn)，它有億點(diǎn)難
下一篇： 消息稱(chēng)蘋(píng)果與 Meta 討論合作，將生成式 AI 引入 Apple Intelligence
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
