一個創新性的開放平臺SciArena近期正式啟動，其核心目的在于評估大型語言模型（LLM）在科學文獻處理任務中的實際效能，這一評估依據的是研究人員的真實偏好。平臺運行初期，已明顯觀察到不同模型間存在效能差異。oZx28資訊網——每日最新資訊28at.com

SciArena由耶魯大學、紐約大學以及艾倫人工智能研究所的專家攜手打造，它專注于系統性地評測專有和開源LLM在科學文獻處理方面的表現，這一領域此前缺乏系統的評估工具。oZx28資訊網——每日最新資訊28at.com

該平臺采用了不同于傳統基準測試的方法，效仿Chatbot Arena的模式，引入了真實研究人員的直接評估。用戶在提交科學問題后，會收到兩個由模型生成并附有相關引用的詳細答案，然后用戶根據判斷選擇更優的答案。這些引用的文獻均通過專門的ScholarQA檢索流程獲取。oZx28資訊網——每日最新資訊28at.com

SciArena已積累了來自自然科學、工程學、生命科學和社會科學四大領域102位研究人員的超過13,000份評估數據，涵蓋概念闡述、文獻檢索等多個維度。oZx28資訊網——每日最新資訊28at.com

在當前的排名中，OpenAI的o3模型獨占鰲頭，領先于Claude-4-Opus和Gemini-2.5-Pro。而在開源模型領域，Deepseek-R1-0528表現突出，甚至超越了部分專有系統。研究團隊特別指出，o3在自然科學和工程科學領域的表現尤為亮眼。研究人員還發現，用戶在評估時更注重引用與陳述的匹配度，而非單純引用數量。答案長度等因素對SciArena的影響相對較小，與Chatbot Arena或Search Arena等平臺有所不同。oZx28資訊網——每日最新資訊28at.com

盡管取得了顯著進展，但自動化評估仍面臨挑戰。為此，團隊還推出了一項名為SciArena-eval的新基準測試，旨在測試語言模型判斷其他模型答案的能力。然而，即便是表現最佳的模型，也只有約65%的時間與人類偏好一致，這反映出當前LLM在科學領域的評估系統尚存局限。oZx28資訊網——每日最新資訊28at.com

SciArena平臺現已向公眾開放，其代碼、數據及SciArena-eval基準測試均以開源形式提供，旨在助力開發更符合研究人員在科學信息任務中需求的模型。oZx28資訊網——每日最新資訊28at.com

舉報 0收藏 0打賞 0評論 0分享 0  更多>同類資訊谷歌發布Gemini for Education：免費AI工具助力全球教育創新與公平07-03榮耀總裁方飛：蘋果入局折疊屏，是激勵也是新起點07-03OpenAI堅持英偉達與AMD，暫不全面采用谷歌TPU芯片07-03Crunchyroll新動畫字幕出錯，疑似AI生成引熱議，觀眾呼吁保證創作質量07-03三星Galaxy Z Fold新機：7月9日震撼發布，16GB+1TB高配來襲現在的手游和應用不斷升級，對配置的要求越來越高，所以不少品牌推出自研芯片、性能引擎、算法等方面，進一步優化性能，提升新機體驗。新機也被官方稱為三星超輕薄折疊旗艦，看來今年的新折疊屏不斷追求輕薄，甚至是與直板機…07-03榮耀Magic V5震撼發布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片榮耀Magic V5采用全新AI交互方式，以更輕薄的折疊旗艦形態與行業領先的AI智能體實力，釋放PC級生產力，開啟智能交互體驗的全新想象，用科技拓寬一小時的生命寬度，帶來一輩子的溫暖陪伴。榮耀正式宣布支持MC…07-03中國移動新動作：九天人工智能科技公司成立，注冊資本高達20億07-03榮耀Magic V5震撼發布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版07-03榮耀Magic V5深度評測：輕薄新紀錄，AI折疊屏新標桿在多設備聯動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼發布：纖薄新紀錄，滿血配置售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創多項大折疊手機纖薄世界紀錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02榮耀Magic V5評測：輕薄新巔峰，全能AI折疊屏旗艦重塑標準在多設備聯動上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機等智能聯動，不僅支持手表解鎖手機功能以及一鍵鎖定手表，并支持雙向查找，AI體驗同步流轉，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼登場：纖薄新紀錄，滿血配置，售價8999元起7月2日，榮耀推出了新一代旗艦大折疊手機——榮耀Magic V5，這款手機不僅再創多項大折疊手機纖薄世界紀錄，還具有大折疊滿血配置，并將AI與手機深度融合，搭載更為智慧化的使用方式。在護眼方面，此前在榮耀直板…07-02榮耀Magic V5深度評測：輕薄新標桿，AI折疊屏的全面進化07-02榮耀Magic V5：超薄旗艦新標桿，AI交互重塑大折疊體驗它的低溫與常溫性能差異大約在33.4%，也符合我們對于超薄大折疊的性能釋放預期，同時即便是有著如此嚴格的溫控策略，MagicV5的性能表現也依然要明顯高于那些使用老平臺的競爭對手。Magic V5不只是開創…07-02京東JoyInside攜AI潮玩來襲，攜手十余家機器人品牌打造智能生態07-02點擊查看更多 +全站最新宇宙信使：揭秘玻璃隕石的奧秘與魅力2025上半年機票均價740元，暑運旺季來臨價格上揚至839元美波音737客機飛行中襟翼掉落 疑似墜入居民區車道美波音737客機飛行中襟翼掉落 疑似墜入居民區車道馬斯克旗下xAI Grok 4曝光，百億融資助力“重塑知識庫”計劃豐田汽車上調零部件采購價，力保6萬家供應商穩定運營熱門內容

• 高考志愿填報熱潮中，夸克“深度搜索”成考生新寵，人均使用4次尋建議
• 馬斯克宣布Grok 4大模型即將面世，或專為編程打造
• 高考志愿填報熱潮下，夸克“深度搜索”助力考生，人均使用達4次
• 中國知網CNKI AI：重塑知識服務新生態，四大核心力引領未來
• 蘋果AI「Apple Intelligence」國行版，終于要來了嗎？
• QQ瀏覽器AI高考通新上線：智能生成高考志愿報告，助你科學填報！
• 火山引擎PromptPilot：一鍵優化指令，解鎖AI大模型新效能
• 阿里領投硅基流動，清華系AI創企再獲數億融資，DeepSeek流量爆棚后新動作？
• 夸克高考志愿大模型上線，讓每個考生擁有自己的AI志愿填報顧問！
• 字節跳動火山引擎發布豆包1.6與Seedance1.0，AI技術再升級成本大降
• 優志愿鴻蒙版上線，AI智能填報高考志愿，科學規劃升學新路徑
• 英偉達攬才：清華“天才少年”朱邦華攜手焦劍濤加盟
• 淘天集團RecGPT大模型上線，電商推薦迎來個性化新升級
• 斯坦福評測：DeepSeek R1醫療AI大放異彩，成臨床場景新冠軍
• 《Artificial》今夏開機，揭秘OpenAI 2023年CEO罷免又復職風波

本欄最新三星Galaxy Z Fold新機：7月9日震撼發布，16GB+1TB高配來襲榮耀Magic V5震撼發布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片中國移動新動作：九天人工智能科技公司成立，注冊資本高達20億榮耀Magic V5震撼發布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版榮耀Magic V5深度評測：輕薄新紀錄，AI折疊屏新標桿榮耀Magic V5震撼發布：纖薄新紀錄，滿血配置售價8999元起

本文鏈接：http://www.www897cc.com/showinfo-45-14354-0.htmlSciArena平臺亮相：科研人員親測，大語言模型科學文獻任務表現大比拼

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： MIT新研究：AI寫作工具使用或致大腦活躍度下滑

下一篇： 谷歌發布Gemini for Education：免費AI工具助力全球教育創新與公平