石頭自清潔掃拖機器人G10S評測：多年黑科技集大成之作 懶人終極福音
科技圈經(jīng)常能看到一個詞叫“縫合怪”，用來形容那些把好多功能或者外觀結(jié)合在一起的產(chǎn)品，通常這樣的詞是貶義詞，但如果真的是產(chǎn)品縫合的好、縫合的實用的話，那它就成了中性詞，今
6 月 8 日消息，蘋果機器學習研究中心于當?shù)貢r間 6 月 6 日發(fā)表了一篇研究論文，稱現(xiàn)有 AI 模型并不具備真正的思維能力或推理能力，而是依賴于模式匹配與記憶，尤其是對于復雜的任務而言。
蘋果研究人員對現(xiàn)有的前沿“大型推理模型”—— 如 OpenAI o3-mini、DeepSeek-R1、Anthropic 的 Claude 3.7 Sonnet Thinking 和谷歌 Gemini Thinking—— 進行了系統(tǒng)評估。
研究發(fā)現(xiàn)，盡管這些模型具備生成詳細“思考鏈”的能力，并在中等復雜度任務上表現(xiàn)出優(yōu)勢，但其推理能力存在根本性局限：當問題復雜度超過特定臨界點時，模型性能會完全崩潰至“零準確率”。
此外，在模型推理過程中，即使仍有充足的推理算力，它們用于“思考”的 token 數(shù)量反而隨難度上升而減少，這種現(xiàn)象意味著現(xiàn)有推理方法存在根本局限性。
這篇《思考的幻象：通過問題復雜性的視角理解推理模型的優(yōu)勢與局限》由 Parshin Shojaee 等人撰寫。研究表明，當前業(yè)界對這些模型的評估主要集中在數(shù)學和編程基準測試上，關(guān)注最終答案的準確性，但這往往忽略了數(shù)據(jù)污染問題，也無法提供有關(guān)內(nèi)部推理軌跡結(jié)構(gòu)和質(zhì)量的洞見。
研究人員采用了一系列可控的解謎環(huán)境，允許精確操縱組成復雜性，同時保持邏輯結(jié)構(gòu)的一致性。這使得不僅可以分析最終答案，還可以探究內(nèi)部推理軌跡，從而更深入地了解這些模型是如何“思考”的。
研究團隊提出，模型表現(xiàn)可分為三個階段：
低復雜度任務：傳統(tǒng)大模型（IT酷哥注：如 Claude-3.7 無思維版本）表現(xiàn)更佳；
中等復雜度任務：具備思維機制的大型推理模型（LRMs）更占優(yōu)勢；
高復雜度任務：兩類模型均陷入完全失效狀態(tài)。
特別是，研究發(fā)現(xiàn) LRMs 在執(zhí)行精確計算方面存在局限性，無法使用顯式算法且跨不同謎題進行推理時表現(xiàn)出不一致性。
總的來說，這項研究不僅質(zhì)疑了當前基于已建立數(shù)學基準的 LRMs 評估范式，還強調(diào)了需要更加細致的實驗設置來探索這些問題。通過使用可控制的謎題環(huán)境，本研究提供了對語言推理模型能力和局限性的深刻見解，并為未來的研究指明了方向。
研究人員表示，“這些發(fā)現(xiàn)突出了現(xiàn)有 LRMs 的優(yōu)點和局限性，引發(fā)了關(guān)于這些系統(tǒng)推理本質(zhì)的問題，這對它們的設計和部署具有重要意義。”
參考資料：
《The Illusion of Thinking: Understanding the Strengths and Limitations of Reasoning Models via the Lens of Problem Complexity - Apple Machine Learning Research》
本文鏈接：http://www.www897cc.com/showinfo-26-157707-0.html蘋果最新研究：現(xiàn)有 AI 大模型“更像是在記憶，而非真正的推理”
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號