大廠元宇宙，又菜又愛玩
撰文 | 吳先之 編輯 | 王 潘當下所有大廠推出的元宇宙產品，所能帶來的沉浸式體驗并不多，好在國內外科技巨頭在bug方面都處在同一水平線。以Meta為例，由于VR頭顯設
蘋果機器學習研究中心近日發布了一篇引人深思的研究論文，對當前人工智能（AI）模型的思維能力與推理能力提出了質疑。論文指出，現有的AI模型，盡管在某些任務上表現出色，但實際上主要依賴模式匹配與記憶，特別是在面對復雜任務時，這一局限性尤為明顯。
為了深入探討這一問題，蘋果的研究人員對當前前沿的“大型推理模型”進行了全面評估，這些模型包括OpenAI的o3-mini、DeepSeek-R1、Anthropic的Claude 3.7 Sonnet Thinking，以及谷歌的Gemini Thinking等。這些模型被廣泛應用于各種場景，尤其是在生成詳細“思考鏈”方面展現出了獨特的優勢。
然而，研究卻發現，當問題的復雜度超過某個臨界點時，這些模型的推理能力會急劇下降，甚至完全崩潰，準確率降至零。更令人驚訝的是，在推理過程中，盡管算力充足，但模型用于“思考”的token數量卻隨著問題難度的增加而減少，這進一步揭示了現有推理方法的根本局限性。
論文《思考的幻象：通過問題復雜性的視角理解推理模型的優勢與局限》由Parshin Shojaee等人撰寫，深入剖析了當前AI模型在推理方面的不足。研究人員指出，目前對AI模型的評估主要集中在數學和編程基準測試上，這種評估方式雖然可以反映模型的最終答案準確性，但卻忽略了數據污染問題，也無法揭示模型內部推理軌跡的結構和質量。
為了更深入地了解AI模型的推理過程，研究人員設計了一系列可控的解謎環境，這些環境允許精確操縱問題的復雜性，同時保持邏輯結構的一致性。通過這種方式，研究人員不僅可以分析模型的最終答案，還可以深入探究模型的內部推理軌跡，從而揭示模型是如何“思考”的。
研究團隊發現，模型的表現可以清晰地分為三個階段：在低復雜度任務中，傳統大模型（如Claude-3.7無思維版本）表現更佳；在中等復雜度任務中，具備思維機制的大型推理模型（LRMs）更占優勢；然而，在高復雜度任務中，兩類模型均陷入完全失效狀態。
特別研究還發現LRMs在執行精確計算方面存在明顯局限性，它們無法使用顯式算法進行推理，且在不同謎題之間的推理表現也呈現出不一致性。這一發現進一步強調了當前AI模型在推理能力方面的不足。
研究還指出，當前業界對LRMs的評估范式主要基于已建立的數學基準，這種評估方式可能無法全面反映模型的真實能力。因此，研究人員呼吁需要更加細致的實驗設置來探索這些問題，以更深入地了解AI模型的推理能力和局限性。
論文的發布引起了業界的廣泛關注。研究人員表示，這些發現不僅揭示了現有LRMs的優點和局限性，還引發了關于這些系統推理本質的問題。這些問題對于AI系統的設計和部署具有重要意義，將推動相關領域的研究不斷向前發展。
本文鏈接：http://www.www897cc.com/showinfo-45-13558-0.html蘋果研究：AI大模型在高復雜度任務中推理能力遭質疑
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號