日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 科技  > 測(cè)評(píng)

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了

來(lái)源: 責(zé)編: 時(shí)間:2024-04-23 09:13:14 163觀看
導(dǎo)讀 如果試題太簡(jiǎn)單,學(xué)霸和學(xué)渣都能考90分,拉不開(kāi)差距……隨著Claude 3、Llama 3甚至之后GPT-5等更強(qiáng)模型發(fā)布,業(yè)界急需一款更難、更有區(qū)分度的基準(zhǔn)測(cè)試。大模型競(jìng)技場(chǎng)背后組織LMSYS推出下

如果試題太簡(jiǎn)單,學(xué)霸和學(xué)渣都能考90分,拉不開(kāi)差距……Dhq28資訊網(wǎng)——每日最新資訊28at.com

隨著Claude 3、Llama 3甚至之后GPT-5等更強(qiáng)模型發(fā)布,業(yè)界急需一款更難、更有區(qū)分度的基準(zhǔn)測(cè)試。Dhq28資訊網(wǎng)——每日最新資訊28at.com

大模型競(jìng)技場(chǎng)背后組織LMSYS推出下一代基準(zhǔn)測(cè)試Arena-Hard,引起廣泛關(guān)注。Dhq28資訊網(wǎng)——每日最新資訊28at.com

Llama 3的兩個(gè)指令微調(diào)版本實(shí)力到底如何,也有了最新參考。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

與之前大家分?jǐn)?shù)都相近的MT Bench相比,Arena-Hard區(qū)分度從22.6%提升到87.4%,孰強(qiáng)孰弱一目了然。Dhq28資訊網(wǎng)——每日最新資訊28at.com

Arena-Hard利用競(jìng)技場(chǎng)實(shí)時(shí)人類數(shù)據(jù)構(gòu)建,與人類偏好一致率也高達(dá)89.1%。Dhq28資訊網(wǎng)——每日最新資訊28at.com

除了上面兩個(gè)指標(biāo)都達(dá)到SOTA之外,還有一個(gè)額外的好處:Dhq28資訊網(wǎng)——每日最新資訊28at.com

實(shí)時(shí)更新的測(cè)試數(shù)據(jù)包含人類新想出的、AI在訓(xùn)練階段從未見(jiàn)過(guò)的提示詞,減輕潛在的數(shù)據(jù)泄露。Dhq28資訊網(wǎng)——每日最新資訊28at.com

并且新模型發(fā)布后,無(wú)需再等待一周左右時(shí)間讓人類用戶參與投票,只需花費(fèi)25美元快速運(yùn)行測(cè)試管線,即可得到結(jié)果。Dhq28資訊網(wǎng)——每日最新資訊28at.com

有網(wǎng)友評(píng)價(jià),使用真實(shí)用戶提示詞而不是高中考試來(lái)測(cè)試,真的很重要。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

新基準(zhǔn)測(cè)試如何運(yùn)作?Dhq28資訊網(wǎng)——每日最新資訊28at.com

簡(jiǎn)單來(lái)說(shuō),通過(guò)大模型競(jìng)技場(chǎng)20萬(wàn)個(gè)用戶查詢中,挑選500個(gè)高質(zhì)量提示詞作為測(cè)試集。Dhq28資訊網(wǎng)——每日最新資訊28at.com

首先,挑選過(guò)程中確保多樣性,也就是測(cè)試集應(yīng)涵蓋廣泛的現(xiàn)實(shí)世界話題。Dhq28資訊網(wǎng)——每日最新資訊28at.com

為了確保這一點(diǎn),團(tuán)隊(duì)采用BERTopic中主題建模管道,首先使用OpenAI的嵌入模型(text-embedding-3-small)轉(zhuǎn)換每個(gè)提示,使用 UMAP 降低維度,并使用基于層次結(jié)構(gòu)的模型聚類算法 (HDBSCAN) 來(lái)識(shí)別聚類,最后使用GPT-4-turbo進(jìn)行匯總。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

同時(shí)確保入選的提示詞具有高質(zhì)量,有七個(gè)關(guān)鍵指標(biāo)來(lái)衡量:Dhq28資訊網(wǎng)——每日最新資訊28at.com

-具體性:提示詞是否要求特定的輸出?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-領(lǐng)域知識(shí):提示詞是否涵蓋一個(gè)或多個(gè)特定領(lǐng)域?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-復(fù)雜性:提示詞是否有多層推理、組成部分或變量?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-解決問(wèn)題:提示詞是否直接讓AI展示主動(dòng)解決問(wèn)題的能力?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-創(chuàng)造力:提示詞是否涉及解決問(wèn)題的一定程度的創(chuàng)造力?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-技術(shù)準(zhǔn)確性:提示詞是否要求響應(yīng)具有技術(shù)準(zhǔn)確性?Dhq28資訊網(wǎng)——每日最新資訊28at.com

-實(shí)際應(yīng)用:提示詞是否與實(shí)際應(yīng)用相關(guān)?Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

使用GPT-3.5-Turbo和GPT-4-Turbo對(duì)每個(gè)提示進(jìn)行從 0 到 7 的注釋,判斷滿足多少個(gè)條件。然后根據(jù)提示的平均得分給每個(gè)聚類評(píng)分。Dhq28資訊網(wǎng)——每日最新資訊28at.com

高質(zhì)量的問(wèn)題通常與有挑戰(zhàn)性的話題或任務(wù)相關(guān),比如游戲開(kāi)發(fā)或數(shù)學(xué)證明。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

新基準(zhǔn)測(cè)試準(zhǔn)嗎?Dhq28資訊網(wǎng)——每日最新資訊28at.com

Arena-Hard目前還有一個(gè)弱點(diǎn):使用GPT-4做裁判更偏好自己的輸出。官方也給出了相應(yīng)提示。Dhq28資訊網(wǎng)——每日最新資訊28at.com

可以看出,最新兩個(gè)版本的GPT-4分?jǐn)?shù)高過(guò)Claude 3 Opus一大截,但在人類投票分?jǐn)?shù)中差距并沒(méi)有那么明顯。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

其實(shí)關(guān)于這一點(diǎn),最近已經(jīng)有研究論證,前沿模型都會(huì)偏好自己的輸出。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

研究團(tuán)隊(duì)還發(fā)現(xiàn),AI天生就可以判斷出一段文字是不是自己寫(xiě)的,經(jīng)過(guò)微調(diào)后自我識(shí)別的能力還能增強(qiáng),并且自我識(shí)別能力與自我偏好線性相關(guān)。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

那么使用Claude 3來(lái)打分會(huì)使結(jié)果產(chǎn)生什么變化?LMSYS也做了相關(guān)實(shí)驗(yàn)。Dhq28資訊網(wǎng)——每日最新資訊28at.com

首先,Claude系列的分?jǐn)?shù)確實(shí)會(huì)提高。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

但令人驚訝的是,它更喜歡幾種開(kāi)放模型如Mixtral和零一萬(wàn)物Yi,甚至對(duì)GPT-3.5的評(píng)分都有明顯提高。Dhq28資訊網(wǎng)——每日最新資訊28at.com

總體而言,使用Claude 3打分的區(qū)分度和與人類結(jié)果的一致性都不如GPT-4。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

所以也有很多網(wǎng)友建議,使用多個(gè)大模型來(lái)綜合打分。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

除此之外,團(tuán)隊(duì)還做了更多消融實(shí)驗(yàn)來(lái)驗(yàn)證新基準(zhǔn)測(cè)試的有效性。Dhq28資訊網(wǎng)——每日最新資訊28at.com

比如在提示詞中加入“讓答案盡可能詳盡”,平均輸出長(zhǎng)度更高,分?jǐn)?shù)確實(shí)會(huì)提高。Dhq28資訊網(wǎng)——每日最新資訊28at.com

但把提示詞換成“喜歡閑聊”,平均輸出長(zhǎng)度也有提高,但分?jǐn)?shù)提升就不明顯。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

此外在實(shí)驗(yàn)過(guò)程中還有很多有意思的發(fā)現(xiàn)。Dhq28資訊網(wǎng)——每日最新資訊28at.com

比如GPT-4來(lái)打分非常嚴(yán)格,如果回答中有錯(cuò)誤會(huì)狠狠扣分;而Claude 3即使識(shí)別出小錯(cuò)誤也會(huì)寬大處理。Dhq28資訊網(wǎng)——每日最新資訊28at.com

對(duì)于代碼問(wèn)題,Claude 3傾向于提供簡(jiǎn)單結(jié)構(gòu)、不依賴外部代碼庫(kù),能幫助人類學(xué)習(xí)編程的答案;而GPT-4-Turbo更傾向最實(shí)用的答案,不管其教育價(jià)值如何。Dhq28資訊網(wǎng)——每日最新資訊28at.com

另外即使設(shè)置溫度為0,GPT-4-Turbo也可能產(chǎn)生略有不同的判斷。Dhq28資訊網(wǎng)——每日最新資訊28at.com

從層次結(jié)構(gòu)可視化的前64個(gè)聚類中也可以看出,大模型競(jìng)技場(chǎng)用戶的提問(wèn)質(zhì)量和多樣性確實(shí)是高。Dhq28資訊網(wǎng)——每日最新資訊28at.com

新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了Dhq28資訊網(wǎng)——每日最新資訊28at.com

這里面也許就有你的貢獻(xiàn)。Dhq28資訊網(wǎng)——每日最新資訊28at.com

Arena-Hard GitHub:Dhq28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/lm-sys/arena-hardDhq28資訊網(wǎng)——每日最新資訊28at.com

Arena-Hard HuggingFace:Dhq28資訊網(wǎng)——每日最新資訊28at.com

https://huggingface.co/spaces/lmsys/arena-hard-browserDhq28資訊網(wǎng)——每日最新資訊28at.com

大模型競(jìng)技場(chǎng):Dhq28資訊網(wǎng)——每日最新資訊28at.com

https://arena.lmsys.orgDhq28資訊網(wǎng)——每日最新資訊28at.com

參考鏈接:Dhq28資訊網(wǎng)——每日最新資訊28at.com

[1]https://x.com/lmsysorg/status/1782179997622649330Dhq28資訊網(wǎng)——每日最新資訊28at.com

[2]https://lmsys.org/blog/2024-04-19-arena-hard/Dhq28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-25-84608-0.html新測(cè)試基準(zhǔn)發(fā)布 最強(qiáng)開(kāi)源Llama 3尷尬了

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 提車三天特斯拉中國(guó)突然降價(jià)一萬(wàn)四 車主:太疼了!

下一篇: 小米平板6S Pro評(píng)測(cè):小米平板的最終形態(tài)

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 主站蜘蛛池模板: 兴仁县| 育儿| 神池县| 饶阳县| 民权县| 拜城县| 仪征市| 平定县| 黔西县| 上栗县| 诸城市| 哈密市| 宜黄县| 永平县| 綦江县| 台东县| 锦屏县| 长治市| 乐陵市| 海城市| 句容市| 平原县| 通城县| 施秉县| 蓬莱市| 江安县| 温泉县| 肃宁县| 宁城县| 新巴尔虎左旗| 三穗县| 台前县| 上栗县| 昌江| 丹寨县| 新疆| 龙里县| 绍兴县| 健康| 金门县| 林甸县|