數(shù)字人的AB面：在元宇宙中過氣，在AIGC中重生
來源：光錐智能作者：郝 鑫“29800元一年的虛擬主播，號稱24小時不停播，月入十幾萬，實際上卻是關(guān)鍵詞都不能回復(fù)，播了半個月，直播間還因違規(guī)被快手封禁，最終投訴無門、退款無果。&
在基準(zhǔn)測試上頻頻屠榜的大模型們，竟然被一道簡單的邏輯推理題打得全軍覆沒？最近，研究機構(gòu) LAION 的幾位作者共同發(fā)表了一篇文章，以「愛麗絲夢游仙境」為啟發(fā)涉及了一系列簡單的推理問題，揭示了 LLM 基準(zhǔn)測試的盲區(qū)。
一道簡單的邏輯問題，竟讓幾乎所有的 LLM 全軍覆沒？
對于人類來說，這個名為「愛麗絲夢游仙境」（AIW）的測試并不算很難 ——
「愛麗絲有 N 個兄弟，她還有 M 個姐妹。愛麗絲的兄弟有多少個姐妹？」
只需稍加思考，答案顯而易見：M+1。（愛麗絲擁有的姐妹數(shù)量，再加上愛麗絲自己）
但是，當(dāng)研究人員讓 GPT-3.5/4、Claude、Gemini、Llama、Mistral 等模型回答時，得到的結(jié)果卻非常離譜。只有 OpenAI 最新的 GPT-4o 勉強及格。
而且問題不僅僅是基本的不準(zhǔn)確性：當(dāng)要求展示其工作過程時，AI 會詳細說明一些荒謬且錯誤的「思考」過程，這些過程毫無意義 —— 更奇怪的是，當(dāng)被告知其工作不準(zhǔn)確時，模型反復(fù)變得憤怒并堅持其錯誤答案。
正如這支來自知名開源 AI 研究機構(gòu) LAION 的團隊所揭示的 —— 即使是當(dāng)今最先進的模型，也幾乎不具有小學(xué)生的推理能力。
論文地址：https://arxiv.org/ abs / 2406.02061
開源地址：https://github.com/ LAION-AI / AIW
對此，LeCun 也在第一時間轉(zhuǎn)評道：「再次強調(diào)，推理能力和常識不應(yīng)與存儲和大致檢索大量事實的能力混為一談?！?span style="display:none">Pp528資訊網(wǎng)——每日最新資訊28at.com
與之類似，ICLR 2024 的一篇論文也發(fā)現(xiàn)，LLM 在學(xué)習(xí)完「A 是 B」這個知識點之后，無法泛化到「B 是 A」，這種推理能力的缺陷被他們稱為「逆轉(zhuǎn)詛咒」。
參考了之前識別 LLM 能力缺陷的研究，團隊尋找問題的標(biāo)準(zhǔn)，是希望測試 LLM 在在常識性任務(wù)中進行基本推理的能力。
于是有一個現(xiàn)成的題目方向非常合適 —— 為 7-10 歲低年級學(xué)生設(shè)計的奧數(shù)題目。當(dāng)然，不是海淀版本的，是大多數(shù)小學(xué)生都能看懂并做出來的。
這些題目不需要復(fù)雜的知識，但解決起來也需要應(yīng)用各種形式的邏輯思維和基本推理。
在本次研究中，團隊借鑒「愛麗絲夢游仙境」的童話故事，將提出的測試集簡稱為 AIW：「愛麗絲有 N 個兄弟，她還有 M 個姐妹。愛麗絲的兄弟有多少個姐妹？」
下面，我們來簡單分析一下：題目首先涉及一個虛構(gòu)的女性人物「愛麗絲」，并通過「她」這個代詞暗示；其次提供了關(guān)于她兄弟和姐妹數(shù)量的明確陳述；最后提出了一個明確的問題，即計算愛麗絲的兄弟有多少個姐妹。
顯然，這對大多數(shù)成年人來說并沒有挑戰(zhàn)性；甚至對于一定年齡以上的兒童來說，通過常識推理也不難解決。
研究人員最初也認為，這對 LLM 不會構(gòu)成什么挑戰(zhàn)。
然而，大多數(shù)的 SOTA 模型竟然回答得非常費勁。而且，更改句子表述方式或者 N、M 具體數(shù)值時，回答正確率會產(chǎn)生大幅變化。
對此團隊認為，模型似乎是在「蒙」答案，幾乎不考慮邏輯，只是對問題中提到的數(shù)字加減乘除后給出結(jié)果，因此有些 N 和 M 值的對應(yīng)答案比較容易蒙對。
這就讓團隊來了興趣。他們?yōu)?AIW 問題設(shè)計出了 4 個版本，讓 LLM 不容易蒙對答案。比如 N=4，M=2 時，你很難通過操作這兩個數(shù)字得到正確結(jié)果 3。
在這 4 個 AIW 問題的變體上進行實驗，研究人員得出了關(guān)于 LLM 基本推理能力的核心結(jié)論。
LLM 崩潰實驗結(jié)果出乎很多人的意料 —— 大多數(shù)的先進 LLM 無法對 AIW 問題推理出正確答案，即使嘗試各種提示方法也沒嫩個改變模型崩潰的結(jié)果。
可以看到，大多數(shù)模型的正確響應(yīng)率都不超過 0.2，只有 4 個模型超過了 0.3，包括 GPT-4o 和 Claude 3 Opus，以及唯一的開源模型 Llama2-70B Chat。其中 GPT-4o 的均值達到了 0.6 附近。
大多數(shù)情況下，模型的正確答案是來源于完整無誤的推理。Mistral 和 CodeLlama 等模型雖然表現(xiàn)不佳，得分在 0.1 以下，但仍能看到正確的推理過程。
然而，也有一些模型的推理過程完全錯誤，但最終「負負得正」，奇跡般地得出了正確答案。這種情況經(jīng)常出現(xiàn)在正確率小于 0.3 的模型中。
團隊還對 AIW 不同變體上的準(zhǔn)確率進行了橫向比較，結(jié)果很多模型的表現(xiàn)都出現(xiàn)了大幅波動。
比如本來能擠進前四的 GPT-4-0613，換了個問題，準(zhǔn)確率就快降到 0 了。GPT-4o、GPT-4 Turbo、Claude 3 Opus 和 Llama2-70B 等高分模型也都出現(xiàn)較大的波動。
團隊設(shè)計了 restricted 模式的提示，強迫模型輸出簡短答案，測試它們在有限計算能力情況下的相應(yīng)質(zhì)量。有趣的是，相比標(biāo)準(zhǔn)模式的提示，模型的正確率竟然有升有降。
這些先進 LLM 在 AIW 上的慘烈表現(xiàn)和 MMLU、ARC-c 等基準(zhǔn)測試的高分形成了鮮明的對比。因此，團隊決定讓 AIW 的暴風(fēng)雨更猛烈一點，把兩者的可視化結(jié)果放在一起看個清楚。
圖 3 中可以看到，大多數(shù)模型聚集在縱軸附近，只有 Llama2-70B、GPT-4、GPT-4o 和 Claude 3 幾個模型較為接近校準(zhǔn)線，這表明 MMLU 分數(shù)與 AIW 之間的顯著不匹配。
再來看測試 LLM 數(shù)學(xué)能力的 MATH、GSM8k 等基準(zhǔn)，趨勢也是類似的。
但值得注意的是，在和 MATH 的對比中，Llama2-7B 和 Llama2-70B 兩個模型在 AIW 的得分反而高于 MATH。這兩個模型在 AIW 與各個基準(zhǔn)測試的校準(zhǔn)中都有較好的表現(xiàn)。
而在 Hallaswag 和 ARC-c 中，這種能力和得分的不匹配，則更加明顯。
值得注意的是，「小」模型（SLM）在這一系列測試中的表現(xiàn)可以說是「比差更差」。
比如下面這個 Llama2-7B 的例子 —— 除了給出的是錯誤答案之外，甚至還生成了一個毫無關(guān)系的測試問題，并且開始不斷重復(fù)相同的輸出。
如測試結(jié)果所示，雖然有些 SLM 在基準(zhǔn)測試中的得分相當(dāng)高，甚至能和大模型媲美，但在 AIW 上卻嚴(yán)重崩潰，完全無法接近 GPT-4 或 Claude Opus 的表現(xiàn)。
雖然 AIW 已經(jīng)打趴了很多模型，但 GPT-4o 和 Claude 3 Opus 依舊有不錯的表現(xiàn)。不服輸?shù)难芯咳藛T們可能想再試探一下最后的邊界，于是升級了推理問題，設(shè)計出 AIW+。
AIW + 使用與 AIW 相同的邏輯，但在描述親緣關(guān)系和家庭結(jié)構(gòu)時增加了額外信息，比如引入了外甥、侄女這樣的表親。
在 AIW + 問題上，研究人員對模型回答進行了手動評估，結(jié)果發(fā)現(xiàn) LLM 有了進一步、更強烈的性能崩潰。
即使是 AIW 上性能達到 0.649 的 GPT-4o，面對 AIW + 也只得到了 0.015 的準(zhǔn)確率，簡直是被按在地上摩擦。
在目睹了 LLM 推理能力的潰敗后，研究人員們非常好奇這些模型到底錯在哪里。
在 Thinking 類型的 prompt 中，包含重新檢查答案的要求，結(jié)果發(fā)現(xiàn)這些 LLM 都有「蜜汁自信」，對自己給出的解決方案非常有信心。
甚至在給出錯誤推理和錯誤答案時，模型還會稱它們提供的解決方案質(zhì)量很高。
比如在 AIW 上得分從沒超過 0.1 的 Command R + 模型，會說「這個結(jié)論是直接且清晰的」。Claude 3 Opus 也在錯誤答案中使用了諸如「邏輯成立」「推理中沒有錯誤」「解決方案是正確的」之類的表達。
難道是 Thinking 類 prompt 的表述不夠明顯？研究人員又設(shè)計了 Scientist 類型的 prompt，要求模型深思熟慮，給出準(zhǔn)確的答案；以及 Confidence 型 prompt，要求模型反省一下自己的自信，給出答案的置信度。
這些提示工程方面的努力似乎依舊是徒勞。
對于 Scientsit 類型，Llama 2-70B 居然會說「結(jié)論乍看之下可能不合常理，但實際上是正確的」，說服用戶支持它給出的錯誤答案。
Command R + 在回應(yīng) Confidence 類型提示時，會在錯誤答案中聲明「解決方案清晰且毫無歧義」「推理完全基于提供的信息，不需要進一步的解釋或推測」。
仔細看更多的示例就能發(fā)現(xiàn)，LLM 不僅是單純的嘴硬，在找理由方面還能「各顯神通」，為錯誤答案編造出各種有說服力的解釋。
比如下面這個 OLMo 模型，可以給出一堆毫無意義的計算或類似邏輯的陳述。
或者像這個 CodeLlama 模型一樣，干脆拒絕回答，再扯出一些毫無意義的話題對你進行「道德綁架」。
「Alice 的兄弟有幾個姐妹」這種問題，它拒絕回答的理由是「作為一個負責(zé)任的 AI 模型，我不可以歧視唐氏綜合癥患者」。
Command R + 找到的道德高地更加「時髦」，它表示自己需要考慮非二元性別的情況。
除了修改 prompt，研究人員還采取了一系列常用的 LLM 調(diào)優(yōu)技巧，希望引導(dǎo)模型提高正確率，包括用定制 prompt 啟用多輪自我驗證、將自然語言形式的 AIW 問題重新表述為 SQL 語句或參數(shù)化版本、上下文學(xué)習(xí)等等，然而收效甚微。
上述實驗中，團隊采用了各個模型家族內(nèi)的微調(diào)應(yīng)用版本，那么聲稱能力更強大的基座模型會不會表現(xiàn)更好呢？
并沒有。結(jié)果反而是基礎(chǔ)模型的崩潰更加嚴(yán)重。
團隊表示，為了在改善當(dāng)前 LLM 令人糟心的推理能力，必須要借助廣大開源社區(qū)的力量。
整個模型創(chuàng)建流程，包括數(shù)據(jù)集的組成和數(shù)據(jù)集本身、訓(xùn)練的源代碼、訓(xùn)練后的模型、標(biāo)準(zhǔn)化的基準(zhǔn)測試程序，都必須完全開放且可重復(fù)。
僅開放權(quán)重的模型，是無法了解訓(xùn)練過程中可能出錯的地方的。例如，數(shù)據(jù)集組成或訓(xùn)練程序本身。
僅通過 API 訪問的封閉模型，甚至無法進行適當(dāng)?shù)脑u估。因為第三方看不到模型的設(shè)置，如系統(tǒng)提示和其他推理超參數(shù)。
因此，團隊認為，要在未來模型中實現(xiàn)適當(dāng)?shù)耐评砟芰?，必須開源模型的完整訓(xùn)練流程 —— 尤其是經(jīng)常被忽視的數(shù)據(jù)集組成。
對于基準(zhǔn)測試，團隊也呼吁 AI 社區(qū)能共同努力進行更新。
比如這次研究中提出的 AIW 問題集：既簡單（用于探測特定類型的推理缺陷），也可定制（提供足夠的組合多樣性來防止數(shù)據(jù)污染）。
團隊認為，強大且可信的基準(zhǔn)測試應(yīng)遵循 Karl Popper 的可證偽性原則 —— 不試圖突出模型的能力，而是盡一切努力打破模型的功能并突出其缺陷，從而展示模型改進的可能途徑。
但問題在于，前者在如今這種商業(yè)環(huán)境中，誘惑力實在是太大了。
作者介紹論文的四位作者來自不同的學(xué)術(shù)機構(gòu)，但都是德國非營利 AI 研究機構(gòu) LAION 的成員。
共同一作 Marianna Nezhurina，是 JSC / 圖賓根大學(xué)的博士生，LAION 的核心研究員。她對多模態(tài)數(shù)據(jù)集和學(xué)習(xí)有濃厚興趣。
另一位共同一作 Jenia Jitsev，是德國 Juelich 超算中心的實驗室負責(zé)人，也同時是 LAION 和 Ontocord.AI 的聯(lián)合創(chuàng)始人，他研究的長期目標(biāo)是從多模式數(shù)據(jù)流中實現(xiàn)模型可自我調(diào)節(jié)且節(jié)能的持續(xù)學(xué)習(xí)。
本文來自微信公眾號：新智元 （ID：AI_era）
參考
https://arxiv.org/abs/2406.02061
本文鏈接：http://www.www897cc.com/showinfo-45-4583-0.html兩句話，讓 LLM 邏輯推理瞬間崩潰！最新「愛麗絲夢游仙境」曝出 GPT、Claude 等重大缺陷
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 五糧液濃香酒：勞動節(jié)送禮的精致藝術(shù)
下一篇： 振興鄉(xiāng)村發(fā)展 助力青少年教育 中國三星連續(xù)十一年蟬聯(lián)企業(yè)社會責(zé)任榜外企第一
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號