【ITBEAR】9月25日消息，近日，亞利桑那州立大學的科研團隊利用PlanBench基準對OpenAI的o1模型進行了規劃能力的測試。測試結果顯示，盡管o1模型在某些方面取得了顯著的進步，但其仍然存在較大的局限性。1gF28資訊網——每日最新資訊28at.com

PlanBench基準于2022年開發，主要用于評估人工智能系統在規劃方面的能力。該基準包含了600個來自Blocksworld領域的任務，要求積木必須按照特定的順序進行堆疊。1gF28資訊網——每日最新資訊28at.com

據ITBEAR了解，在Blocksworld任務中，OpenAI的o1模型展現出了驚人的表現，其準確率高達97.8%，遠遠超過了之前的最佳語言模型LLaMA 3.1 405B的62.6%。在更具挑戰性的“Mystery Blocksworld”加密版本中，傳統模型幾乎全部失敗，而o1模型的準確率仍能達到52.8%。1gF28資訊網——每日最新資訊28at.com

為了驗證o1模型的性能是否源于其訓練集中的基準數據，研究人員還測試了一種新的隨機變體。在這次測試中，o1模型的準確率降至37.3%，但仍遠超其他得分接近零的模型。1gF28資訊網——每日最新資訊28at.com

然而，隨著任務的復雜性增加，o1模型的表現也急劇下降。在需要20到40個規劃步驟的問題上，o1模型在較簡單測試中的準確率從97.8%驟降至23.63%。此外，該模型在識別無法解決的任務方面也顯得力不從心，只有27%的時間能夠正確識別，而在54%的情況下，它錯誤地生成了完整但不可能完成的計劃。1gF28資訊網——每日最新資訊28at.com

盡管o1模型在基準性能上實現了顯著的改進，但它并不能保證解決方案的正確性。與經典的規劃算法相比，如快速向下算法，這些算法可以在更短的計算時間內實現完美的準確性。1gF28資訊網——每日最新資訊28at.com

研究還指出，o1模型的高資源消耗是一個不容忽視的問題。運行這些測試需要花費近1900美元，而經典算法在標準計算機上運行則幾乎不需要任何成本。1gF28資訊網——每日最新資訊28at.com

研究人員強調，對人工智能系統進行公平比較時，必須綜合考慮準確性、效率、成本和可靠性。他們的研究結果表明，盡管像o1這樣的人工智能模型在復雜推理任務方面取得了進步，但這些能力仍然有待提升。1gF28資訊網——每日最新資訊28at.com

關鍵詞：#OpenAI o1模型# #規劃能力測試# #PlanBench基準# #局限性# #資源消耗#1gF28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-7677-0.htmlOpenAI o1模型實測：PlanBench規劃能力，準確率高達97.8%！

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 明年4月，半價iPhone登場？搭載最新芯片引關注！

下一篇： 百度百舸AI計算平臺4.0發布，模型訓練效率逼近極限？