元宇宙終究沒(méi)火過(guò)兩年
來(lái)源：傳播體操在ChatGPT快速破圈的同時(shí)，元宇宙的熱度卻一瀉千里。雖然互聯(lián)網(wǎng)大廠們都沒(méi)有否認(rèn)元宇宙的長(zhǎng)期想象力，但在行動(dòng)上卻都紛紛表示了對(duì)元宇宙短期前景的悲觀。號(hào)稱(chēng)改變
Scale AI 的新軟件工程基準(zhǔn) SWE-BENCH PRO，出現(xiàn)反轉(zhuǎn)！
表面上看，“御三家”集體翻車(chē)，沒(méi)一家的解決率超過(guò) 25%：
GPT-5、Claude Opus 4.1、Gemini 2.5 分別以 23.3%、22.7%、13.5% 的解決率“榮”登前三。
但深入數(shù)據(jù)背后，則暗藏玄機(jī)。
前 OpenAI 研究員 Neil Chowdhury 表示，如果只看已提交的任務(wù)，GPT-5 能達(dá)到 63% 的準(zhǔn)確率，比 Claude Opus 4.1 的 31%，高了近一倍！
（這怎么不算 G 又贏！？）
換句話說(shuō)，GPT-5 在擅長(zhǎng)的題目上依舊穩(wěn)健，與老基準(zhǔn) SWE-Bench-Verified 的 74.9% 差距不大，而 Claude 跟其他模型則直接拉垮到底。
那么，究竟是什么基準(zhǔn)測(cè)試，讓這些頂級(jí)模型如此狼狽？
SWE-BENCH PRO先說(shuō)結(jié)論，不是模型變菜了，而是題變難了。
與平均正確率高達(dá) 70% 的 SWE-Bench-Verified 相比，SWE-BENCH PRO 嚴(yán)格得可不止一星半點(diǎn)。
一方面，作為 OpenAI 于 2024 年 8 月發(fā)布的測(cè)試集，SWE-Bench-Verified 中的很多代碼庫(kù)已被用作大語(yǔ)言模型的預(yù)訓(xùn)練語(yǔ)料，存在著數(shù)據(jù)污染的風(fēng)險(xiǎn)。
另一方面，SWE-Bench-Verified 還包含不少瑣碎的問(wèn)題，例如 500 個(gè)問(wèn)題中有 161 個(gè)只需一兩行修改。
這與工業(yè)軟件工程中通常涉及的跨多文件、數(shù)百行修改的場(chǎng)景差距較大，從而無(wú)法真正反映實(shí)際開(kāi)發(fā)場(chǎng)景中所面臨的挑戰(zhàn)。
基于此，SWE-BENCH PRO 主打全新題目，以確保模型在訓(xùn)練階段從未接觸過(guò)測(cè)試內(nèi)容，從而更真實(shí)地考驗(yàn)?zāi)Ｐ偷膶?shí)際能力。
具體來(lái)說(shuō)，SWE-BENCH PRO 將這些代碼庫(kù)構(gòu)建為以下三個(gè)子集：
公共集：來(lái)自采用 copy-left 許可證的 11 個(gè)公共代碼庫(kù)的 731 個(gè)問(wèn)題。
商業(yè)集：來(lái)自 276 個(gè)源自初創(chuàng)公司代碼庫(kù)的問(wèn)題。
保留集：來(lái)自采用 copy-left 許可證的 12 個(gè)公共代碼庫(kù)的 858 個(gè)問(wèn)題。
（注：公共集將在 HuggingFace 上發(fā)布，商業(yè)集和保留集保持私有，商業(yè)集的測(cè)試結(jié)果會(huì)公開(kāi)，保留集用于驗(yàn)證模型是否過(guò)擬合。每個(gè)問(wèn)題由任務(wù)描述、相關(guān)測(cè)試集和可運(yùn)行環(huán)境構(gòu)成。）
這些從強(qiáng) Copyleft 許可證（GPL）代碼庫(kù)和真實(shí)的初創(chuàng)公司獲取的商業(yè)代碼庫(kù)能夠有效地解決 SWE-Bench-Verified 存在的數(shù)據(jù)污染問(wèn)題。
為了確保任務(wù)的復(fù)雜性，研究團(tuán)隊(duì)還排除了像 1-10 行代碼編輯這樣瑣碎的編輯，保留了需要進(jìn)行大量多文件修改的問(wèn)題。
此外，為了防止模型對(duì)任何單一代碼庫(kù)產(chǎn)生過(guò)擬合，這些代碼庫(kù)都處于活躍狀態(tài)并覆蓋消費(fèi)者應(yīng)用、B2B 服務(wù)和開(kāi)發(fā)者工具平臺(tái)。
接下來(lái)，就讓我們看看研究者是如何在這些問(wèn)題上進(jìn)行測(cè)試的。
human in the loop 的測(cè)試環(huán)節(jié)為了將模型評(píng)估的重點(diǎn)放在當(dāng)模型獲得充分細(xì)節(jié)后，能否實(shí)現(xiàn)給定的修復(fù)或補(bǔ)丁上。
研究團(tuán)隊(duì)在 SWE-Bench Verified 的基礎(chǔ)上，將 SWE-BENCH PRO 中的每個(gè)問(wèn)題都經(jīng)過(guò)了人工增強(qiáng)，并加入了問(wèn)題陳述、需求說(shuō)明以及接口信息。
首先，研究團(tuán)隊(duì)提供一個(gè)待解決問(wèn)題的問(wèn)題陳述并在必要時(shí)補(bǔ)充上下文信息。
其次，針對(duì)潛在的歧義問(wèn)題，對(duì)于每個(gè)問(wèn)題，列出了一系列需求并指定相應(yīng)的類(lèi)和函數(shù)。
之后，在環(huán)境方面，每個(gè)任務(wù)都在一個(gè)容器化的、用于特定語(yǔ)言的環(huán)境中進(jìn)行評(píng)估。
在測(cè)試階段，研究通過(guò) fail2pass 測(cè)試驗(yàn)證問(wèn)題是否已解決，通過(guò) pass2pass 測(cè)試確保現(xiàn)有功能保持完整。
其中，為了確保測(cè)試質(zhì)量，fail2pass 測(cè)試會(huì)經(jīng)過(guò)人工篩選，去掉與任務(wù)不相關(guān)或過(guò)于寬泛的測(cè)試。
對(duì)于偶爾失敗的測(cè)試，則會(huì)運(yùn)行三次，以確保結(jié)果穩(wěn)定。
實(shí)驗(yàn)結(jié)論正如我們開(kāi)頭提到的，大語(yǔ)言模型在 SWE-BENCH PRO 上的解決率僅為中等水平，遠(yuǎn)低于 SWE-Bench Verified 中的 70% 。
其中，在公共集上，GPT-5 和 Claude Opus 4.1 分別實(shí)現(xiàn)了 23.3% 和 22.7% 的最高解決率，顯著優(yōu)于小規(guī)模模型，Claude Sonnet 4 也達(dá)到了 16.3% 的解決率。
不過(guò)，像 DeepSeek Qwen-3 32B 和 GPT-4o 這樣的老模型表現(xiàn)就多少有點(diǎn)不盡人意了，僅為 3.4% 和 3.9%。
在商業(yè)集上，即便是最優(yōu)模型的得分也低于 20%。
這表明當(dāng)前模型在解決真實(shí)商業(yè)場(chǎng)景中的問(wèn)題時(shí)，能力仍然非常有限。
針對(duì)這一苦澀的實(shí)驗(yàn)結(jié)果，研究人員展開(kāi)了進(jìn)一步的分析，結(jié)論如下：
首先，編程語(yǔ)言的難度、代碼庫(kù)以及模型的種類(lèi)被視為影響模型表現(xiàn)的關(guān)鍵因素。
Go 和 Python 通常表現(xiàn)較好，一些模型在這些語(yǔ)言上的解決率超過(guò) 30%，而 JavaScript 和 TypeScript 則波動(dòng)較大，從 0% 到超過(guò) 30% 不等。
不同代碼庫(kù)的解決率差異也很明顯，一些代碼庫(kù)普遍偏低（低于 10%），另一些則超過(guò) 50%。
前沿模型如 Claude Opus 4.1 和 GPT-5 在大多數(shù)編程語(yǔ)言和代碼庫(kù)中表現(xiàn)穩(wěn)定，小規(guī)模模型則更易出現(xiàn)接近零的解決率。
其次，不同的模型的失敗原因往往各不相同。
OPUS 4.1 的主要失敗模式是語(yǔ)義理解不足，錯(cuò)誤解答占 35.9%，語(yǔ)法錯(cuò)誤占 24.2%，表明其技術(shù)執(zhí)行能力較強(qiáng)，但在問(wèn)題理解和算法正確性方面存在挑戰(zhàn)。
GPT-5 的結(jié)果顯示在工具使用的有效性上可能存在差異，但錯(cuò)誤解答相對(duì)較少。
SONNET 4 的主要失敗模式是上下文溢出（35.6%）和顯著的無(wú)休止文件讀取行為（17.0%），表明其在上下文管理和文件導(dǎo)航策略上存在局限。
GEMINI 2.5 的失敗模式則較為均衡，涵蓋工具錯(cuò)誤（38.8%）、語(yǔ)法錯(cuò)誤（30.5%）和錯(cuò)誤解答（18.0%），顯示其在多個(gè)維度上保持了一定能力。
QWEN3 32B 作為開(kāi)源模型，表現(xiàn)出最高的工具錯(cuò)誤率（42.0%），凸顯了集成化工具使用對(duì)于高效代理的重要性。
不難看出，GPT-5 雖然延續(xù)了以往“會(huì)就會(huì)，不會(huì)就不會(huì)”的答題策略，但面對(duì)高企的未回答率（63.1%），它的表現(xiàn)仍然不夠看。
那么，誰(shuí)會(huì)成為第一個(gè)突破 30% 的大模型呢？
參考鏈接
[1]https://x.com/vbingliu
[2]https://scale.com/leaderboard/swe_bench_pro_public
[3]https://x.com/ChowdhuryNeil/status/1969817448229826798
[4] https://scale.com/research/swe_bench_pro
本文來(lái)自微信公眾號(hào)：量子位（ID：QbitAI），作者：henry
本文鏈接：http://www.www897cc.com/showinfo-45-28057-0.htmlGPT-5 編程測(cè)評(píng)“表面不及格”：實(shí)際 63.1% 的任務(wù)沒(méi)交卷，全算上成績(jī)比 Claude 高一倍
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 奧爾特曼預(yù)告 ChatGPT 新產(chǎn)品：Pro 會(huì)員也要額外收費(fèi)，這次不計(jì)成本投入算力
下一篇： Plaud 正式進(jìn)駐中國(guó)大陸，Plaud Note Pro 等三款 AI 錄音硬件全面發(fā)售
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)