日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁 > 元宇宙 > AI

大模型測試題爆火,GPT-4 和 Claude3 都跪了,LeCun 轉(zhuǎn)發(fā):新 Benchmark

來源: 責(zé)編: 時(shí)間:2024-06-27 07:50:46 149觀看
導(dǎo)讀 一項(xiàng)新的“大模型 Benchmark”在推特上爆火,LeCun 也點(diǎn)贊轉(zhuǎn)發(fā)了!而且無論是 GPT-4 還是 Claude 3,面對它都如同被奪了魂,無法給出正確答案。難倒一眾大模型的,是邏輯學(xué)當(dāng)中經(jīng)典的“動(dòng)物過河”問題,有網(wǎng)友發(fā)現(xiàn),大模型

一項(xiàng)新的“大模型 Benchmark”在推特上爆火,LeCun 也點(diǎn)贊轉(zhuǎn)發(fā)了!0Al28資訊網(wǎng)——每日最新資訊28at.com

而且無論是 GPT-4 還是 Claude 3,面對它都如同被奪了魂,無法給出正確答案。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

難倒一眾大模型的,是邏輯學(xué)當(dāng)中經(jīng)典的“動(dòng)物過河”問題,有網(wǎng)友發(fā)現(xiàn),大模型對此類問題表現(xiàn)得很不擅長。0Al28資訊網(wǎng)——每日最新資訊28at.com

甚至有人觀察到,幾個(gè)不同的模型都給出了一致的(錯(cuò)誤)答案,讓人懷疑他們是不是用了相同的訓(xùn)練數(shù)據(jù)。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

針對這項(xiàng)測試,網(wǎng)友還定義了一個(gè)新的名詞叫“劣效比率”(crapness ratio),讓 LeCun 打趣說到,一項(xiàng)新的“Benchmark”誕生了。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

“模見模愁”的動(dòng)物過河

首先來看一下什么是“動(dòng)物過河”問題,這是邏輯學(xué)當(dāng)中的一道經(jīng)典題目。0Al28資訊網(wǎng)——每日最新資訊28at.com

問題的原型是這樣的:0Al28資訊網(wǎng)——每日最新資訊28at.com

農(nóng)夫需要把狼、羊和白菜都帶過河,但每次只能帶一樣物品,而且狼和羊不能單獨(dú)相處,羊和白菜也不能單獨(dú)相處,問農(nóng)夫該如何過河。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

在這個(gè)問題當(dāng)中,農(nóng)夫需要七次(往返視為兩次)過河 —— 先把羊運(yùn)過去,然后空船返回,再把狼運(yùn)過河,帶回羊,然后運(yùn)送白菜,再空船返回,最后運(yùn)送羊。0Al28資訊網(wǎng)——每日最新資訊28at.com

而劣效比率的定義,就是模型給出的運(yùn)送次數(shù)與實(shí)際最少所需次數(shù)的比值。0Al28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然在測試中,網(wǎng)友使用的問題經(jīng)過了改編,結(jié)果發(fā)現(xiàn),當(dāng)題目變成一共有兩只雞,一次可以運(yùn)兩只的時(shí)候,GPT-4 依然在一本正經(jīng)地胡亂分析,最后信誓旦旦地回答是五次。0Al28資訊網(wǎng)——每日最新資訊28at.com

所以在這種情境下,“劣效比率”就是 5。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

Claude 這邊的情況要更離譜一些,明明只有一只羊要送,它卻硬生生說要運(yùn)三次。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

還有網(wǎng)友發(fā)現(xiàn)了華點(diǎn),把題面改成從東岸運(yùn)到東岸,也就是根本不需要運(yùn)送,模型不以為然,依舊我行我素地籌劃著運(yùn)送方案。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

這下只要模型沒識破陷阱,隨便說一個(gè)數(shù)“劣效比率”都會(huì)直接變成無窮大。0Al28資訊網(wǎng)——每日最新資訊28at.com

哪怕問得更直白一些,直接說不需要過河,模型依然會(huì)直接開算。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

所以,這個(gè)“劣效比率”更多像是一種玩笑,不太能比較出各模型的能力,或者說離譜程度。0Al28資訊網(wǎng)——每日最新資訊28at.com

有網(wǎng)友分析,這種現(xiàn)象可能并不意味著大模型推理能力的缺乏,實(shí)際上它揭示了訓(xùn)練數(shù)據(jù)對大模型輸出的影響。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

但另一方面,無論問題是否出自推理本身,至少說明了當(dāng)前的大模型還不是優(yōu)質(zhì)的推理工具。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

那么,這究竟是個(gè)別現(xiàn)象,還是模型的通病?我們選擇了更多的模型進(jìn)行了測試。0Al28資訊網(wǎng)——每日最新資訊28at.com

12 款模型全軍覆沒

針對這個(gè)“Benchmark”,也如法炮制,測了測國產(chǎn)大模型的表現(xiàn),參賽的選手有文心一言、通義千問等 12 款大模型。0Al28資訊網(wǎng)——每日最新資訊28at.com

測試的過程和網(wǎng)友展示的方法相似,Prompt 中只描述問題,不添加額外的提示詞。0Al28資訊網(wǎng)——每日最新資訊28at.com

對每個(gè)大模型,我們都準(zhǔn)備了下面這三道題目:0Al28資訊網(wǎng)——每日最新資訊28at.com

首先進(jìn)行一下說明:0Al28資訊網(wǎng)——每日最新資訊28at.com

1、農(nóng)夫不被計(jì)入運(yùn)送物品的數(shù)量限制0Al28資訊網(wǎng)——每日最新資訊28at.com

2、題目中“獨(dú)處”的標(biāo)準(zhǔn)是,只要有人或其他物品在場,就不屬于獨(dú)處0Al28資訊網(wǎng)——每日最新資訊28at.com

3、往返過程視為兩次過河0Al28資訊網(wǎng)——每日最新資訊28at.com

以上幾點(diǎn)在 Prompt 中均有指出。0Al28資訊網(wǎng)——每日最新資訊28at.com

問題一(正常提問):0Al28資訊網(wǎng)——每日最新資訊28at.com

一個(gè)農(nóng)夫需要將狼、羊、狐貍、雞和米五種物品運(yùn)送過河,每次只能帶兩件,且狼和羊 / 狐貍和雞 / 雞和米不能單獨(dú)相處,每次運(yùn)送時(shí)農(nóng)夫必須在船上,最少需要過河幾次?0Al28資訊網(wǎng)——每日最新資訊28at.com

(答案:五次,只要第一次運(yùn)到對岸的兩個(gè)物品可以獨(dú)處即可。)0Al28資訊網(wǎng)——每日最新資訊28at.com

問題二(一步到位):0Al28資訊網(wǎng)——每日最新資訊28at.com

一個(gè)農(nóng)夫需要將狼、羊、狐貍、雞和米五種物品運(yùn)送過河,每次只能帶五件,且狼和羊 / 狐貍和雞 / 雞和米不能單獨(dú)相處,每次運(yùn)送時(shí)農(nóng)夫必須在船上,最少需要過河幾次?0Al28資訊網(wǎng)——每日最新資訊28at.com

問題三(陷阱問題):0Al28資訊網(wǎng)——每日最新資訊28at.com

一個(gè)農(nóng)夫不需要將狼、羊、狐貍、雞和米五種物品運(yùn)送過河,每次只能帶兩件,且狼和羊 / 狐貍和雞 / 雞和米不能單獨(dú)相處,每次運(yùn)送時(shí)農(nóng)夫必須在船上,最少需要過河幾次?0Al28資訊網(wǎng)——每日最新資訊28at.com

結(jié)果可以說是全軍覆沒,首先用一張表格來整體看下各大模型的表現(xiàn)。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

第一個(gè)問題,各有各的錯(cuò)法,相同的錯(cuò)誤類型,這里每種只列舉一個(gè)例子。0Al28資訊網(wǎng)——每日最新資訊28at.com

比如文心一言,前面說得沒什么問題,但最后把狐貍帶回原來的岸邊后忘了再帶過去,最終沒有完成任務(wù):0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

還有訊飛星火這種運(yùn)著運(yùn)著,某樣?xùn)|西自動(dòng)就跑到了對岸的情況:0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

以上的兩種錯(cuò)誤比較典型,當(dāng)然,還有最有意思的錯(cuò)誤來自躍問 ——0Al28資訊網(wǎng)——每日最新資訊28at.com

因?yàn)槔呛脱虿荒堋蔼?dú)處”,所以它們需要在一起。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

這波屬實(shí)是把人給整不會(huì)了,不過整場測試中,除了這個(gè)把“獨(dú)處”理解錯(cuò)的情況之外,倒是都沒有出現(xiàn)讓不能獨(dú)處的動(dòng)物單獨(dú)在一起的現(xiàn)象。0Al28資訊網(wǎng)——每日最新資訊28at.com

當(dāng)然也有表現(xiàn)好一些的,比如騰訊元寶的方案已經(jīng)接近可行,只是最后兩步純屬多余,而且實(shí)際上此時(shí)已經(jīng)無物可運(yùn)。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

表現(xiàn)最好的是通義千問,給出的方案雖然麻煩,但是找不出什么錯(cuò)誤。0Al28資訊網(wǎng)——每日最新資訊28at.com

值得注意的是,很多模型給出的方案都會(huì)把羊運(yùn)送過去,然后運(yùn)一只雞再把羊運(yùn)回來,不知道為什么不直接運(yùn)雞。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

另外值得一提的是,我們在 Prompt 中雖未提及,但基本上接受測試的模型都不約而同地運(yùn)用到了思維鏈方式,一方面說明了模型確實(shí)會(huì)使用推理技巧,但另一方面也說明思維鏈的作用是有限的。0Al28資訊網(wǎng)——每日最新資訊28at.com

而至于后面兩個(gè)問題,錯(cuò)法就比較統(tǒng)一了 —— 根本沒關(guān)注到數(shù)量限制的變化,更沒看到“不需要”里的“不”,和前面 GPT 的錯(cuò)法也是如出一轍。0Al28資訊網(wǎng)——每日最新資訊28at.com

0Al28資訊網(wǎng)——每日最新資訊28at.com

也就是說,通過這些測試,我們確實(shí)無法得知模型有沒有相應(yīng)的推理能力,因?yàn)槟P透揪蜎]仔細(xì)讀題。0Al28資訊網(wǎng)——每日最新資訊28at.com

或許這也是在第一題中,多數(shù)模型,哪怕給出了可行的方案,仍然一次只運(yùn)送一件物品而不是兩件的原因。0Al28資訊網(wǎng)——每日最新資訊28at.com

所以,前面網(wǎng)友針對訓(xùn)練數(shù)據(jù)和輸出關(guān)系的分析,可能不無道理。0Al28資訊網(wǎng)——每日最新資訊28at.com

參考鏈接:0Al28資訊網(wǎng)——每日最新資訊28at.com

[1]https://x.com/wtgowers/status/18045655497891352560Al28資訊網(wǎng)——每日最新資訊28at.com

[2]https://x.com/ylecun/status/18046419762494178820Al28資訊網(wǎng)——每日最新資訊28at.com

本文來自微信公眾號:量子位(ID:QbitAI),作者:克雷西0Al28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4790-0.html大模型測試題爆火,GPT-4 和 Claude3 都跪了,LeCun 轉(zhuǎn)發(fā):新 Benchmark

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: “清華系”面壁智能與華為云合作,推進(jìn)大模型端云協(xié)同解決方案

下一篇: 美國多家汽車經(jīng)銷商將 AI 用于車輛初步檢查:一分鐘內(nèi)可生成全面報(bào)告

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 主站蜘蛛池模板: 彰武县| 山阴县| 乌拉特中旗| 宽城| 长岭县| 安宁市| 南郑县| 府谷县| 沙洋县| 秭归县| 莱芜市| 惠来县| 嘉兴市| 建宁县| 孟村| 克东县| 定边县| 双城市| 南川市| 丹阳市| 来宾市| 溧水县| 吴川市| 定州市| 桃源县| 阿克陶县| 黎川县| 林周县| 定边县| 泾阳县| 石泉县| 宜兰县| 突泉县| 镶黄旗| 凯里市| 罗平县| 鲁山县| 延边| 甘孜县| 长顺县| 怀化市|