一個(gè)創(chuàng)新性的開(kāi)放平臺(tái)SciArena近期正式啟動(dòng)，其核心目的在于評(píng)估大型語(yǔ)言模型（LLM）在科學(xué)文獻(xiàn)處理任務(wù)中的實(shí)際效能，這一評(píng)估依據(jù)的是研究人員的真實(shí)偏好。平臺(tái)運(yùn)行初期，已明顯觀(guān)察到不同模型間存在效能差異。30I28資訊網(wǎng)——每日最新資訊28at.com

SciArena由耶魯大學(xué)、紐約大學(xué)以及艾倫人工智能研究所的專(zhuān)家攜手打造，它專(zhuān)注于系統(tǒng)性地評(píng)測(cè)專(zhuān)有和開(kāi)源LLM在科學(xué)文獻(xiàn)處理方面的表現(xiàn)，這一領(lǐng)域此前缺乏系統(tǒng)的評(píng)估工具。30I28資訊網(wǎng)——每日最新資訊28at.com

該平臺(tái)采用了不同于傳統(tǒng)基準(zhǔn)測(cè)試的方法，效仿Chatbot Arena的模式，引入了真實(shí)研究人員的直接評(píng)估。用戶(hù)在提交科學(xué)問(wèn)題后，會(huì)收到兩個(gè)由模型生成并附有相關(guān)引用的詳細(xì)答案，然后用戶(hù)根據(jù)判斷選擇更優(yōu)的答案。這些引用的文獻(xiàn)均通過(guò)專(zhuān)門(mén)的ScholarQA檢索流程獲取。30I28資訊網(wǎng)——每日最新資訊28at.com

SciArena已積累了來(lái)自自然科學(xué)、工程學(xué)、生命科學(xué)和社會(huì)科學(xué)四大領(lǐng)域102位研究人員的超過(guò)13,000份評(píng)估數(shù)據(jù)，涵蓋概念闡述、文獻(xiàn)檢索等多個(gè)維度。30I28資訊網(wǎng)——每日最新資訊28at.com

在當(dāng)前的排名中，OpenAI的o3模型獨(dú)占鰲頭，領(lǐng)先于Claude-4-Opus和Gemini-2.5-Pro。而在開(kāi)源模型領(lǐng)域，Deepseek-R1-0528表現(xiàn)突出，甚至超越了部分專(zhuān)有系統(tǒng)。研究團(tuán)隊(duì)特別指出，o3在自然科學(xué)和工程科學(xué)領(lǐng)域的表現(xiàn)尤為亮眼。研究人員還發(fā)現(xiàn)，用戶(hù)在評(píng)估時(shí)更注重引用與陳述的匹配度，而非單純引用數(shù)量。答案長(zhǎng)度等因素對(duì)SciArena的影響相對(duì)較小，與Chatbot Arena或Search Arena等平臺(tái)有所不同。30I28資訊網(wǎng)——每日最新資訊28at.com

盡管取得了顯著進(jìn)展，但自動(dòng)化評(píng)估仍面臨挑戰(zhàn)。為此，團(tuán)隊(duì)還推出了一項(xiàng)名為SciArena-eval的新基準(zhǔn)測(cè)試，旨在測(cè)試語(yǔ)言模型判斷其他模型答案的能力。然而，即便是表現(xiàn)最佳的模型，也只有約65%的時(shí)間與人類(lèi)偏好一致，這反映出當(dāng)前LLM在科學(xué)領(lǐng)域的評(píng)估系統(tǒng)尚存局限。30I28資訊網(wǎng)——每日最新資訊28at.com

SciArena平臺(tái)現(xiàn)已向公眾開(kāi)放，其代碼、數(shù)據(jù)及SciArena-eval基準(zhǔn)測(cè)試均以開(kāi)源形式提供，旨在助力開(kāi)發(fā)更符合研究人員在科學(xué)信息任務(wù)中需求的模型。30I28資訊網(wǎng)——每日最新資訊28at.com

舉報(bào) 0收藏 0打賞 0評(píng)論 0分享 0  更多>同類(lèi)資訊谷歌發(fā)布Gemini for Education：免費(fèi)AI工具助力全球教育創(chuàng)新與公平07-03榮耀總裁方飛：蘋(píng)果入局折疊屏，是激勵(lì)也是新起點(diǎn)07-03OpenAI堅(jiān)持英偉達(dá)與AMD，暫不全面采用谷歌TPU芯片07-03Crunchyroll新動(dòng)畫(huà)字幕出錯(cuò)，疑似AI生成引熱議，觀(guān)眾呼吁保證創(chuàng)作質(zhì)量07-03三星Galaxy Z Fold新機(jī)：7月9日震撼發(fā)布，16GB+1TB高配來(lái)襲現(xiàn)在的手游和應(yīng)用不斷升級(jí)，對(duì)配置的要求越來(lái)越高，所以不少品牌推出自研芯片、性能引擎、算法等方面，進(jìn)一步優(yōu)化性能，提升新機(jī)體驗(yàn)。新機(jī)也被官方稱(chēng)為三星超輕薄折疊旗艦，看來(lái)今年的新折疊屏不斷追求輕薄，甚至是與直板機(jī)…07-03榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片榮耀Magic V5采用全新AI交互方式，以更輕薄的折疊旗艦形態(tài)與行業(yè)領(lǐng)先的AI智能體實(shí)力，釋放PC級(jí)生產(chǎn)力，開(kāi)啟智能交互體驗(yàn)的全新想象，用科技拓寬一小時(shí)的生命寬度，帶來(lái)一輩子的溫暖陪伴。榮耀正式宣布支持MC…07-03中國(guó)移動(dòng)新動(dòng)作：九天人工智能科技公司成立，注冊(cè)資本高達(dá)20億07-03榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版07-03榮耀Magic V5深度評(píng)測(cè)：輕薄新紀(jì)錄，AI折疊屏新標(biāo)桿在多設(shè)備聯(lián)動(dòng)上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機(jī)等智能聯(lián)動(dòng)，不僅支持手表解鎖手機(jī)功能以及一鍵鎖定手表，并支持雙向查找，AI體驗(yàn)同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼發(fā)布：纖薄新紀(jì)錄，滿(mǎn)血配置售價(jià)8999元起7月2日，榮耀推出了新一代旗艦大折疊手機(jī)——榮耀Magic V5，這款手機(jī)不僅再創(chuàng)多項(xiàng)大折疊手機(jī)纖薄世界紀(jì)錄，還具有大折疊滿(mǎn)血配置，并將AI與手機(jī)深度融合，搭載更為智慧化的使用方式。在護(hù)眼方面，此前在榮耀直板…07-02榮耀Magic V5評(píng)測(cè)：輕薄新巔峰，全能AI折疊屏旗艦重塑標(biāo)準(zhǔn)在多設(shè)備聯(lián)動(dòng)上，榮耀MagicV5還可以自家的大屏PC、智能手表、智能耳機(jī)等智能聯(lián)動(dòng)，不僅支持手表解鎖手機(jī)功能以及一鍵鎖定手表，并支持雙向查找，AI體驗(yàn)同步流轉(zhuǎn)，在榮耀手表5 Ultra上，也可以直接喚醒…07-02榮耀Magic V5震撼登場(chǎng)：纖薄新紀(jì)錄，滿(mǎn)血配置，售價(jià)8999元起7月2日，榮耀推出了新一代旗艦大折疊手機(jī)——榮耀Magic V5，這款手機(jī)不僅再創(chuàng)多項(xiàng)大折疊手機(jī)纖薄世界紀(jì)錄，還具有大折疊滿(mǎn)血配置，并將AI與手機(jī)深度融合，搭載更為智慧化的使用方式。在護(hù)眼方面，此前在榮耀直板…07-02榮耀Magic V5深度評(píng)測(cè)：輕薄新標(biāo)桿，AI折疊屏的全面進(jìn)化07-02榮耀Magic V5：超薄旗艦新標(biāo)桿，AI交互重塑大折疊體驗(yàn)它的低溫與常溫性能差異大約在33.4%，也符合我們對(duì)于超薄大折疊的性能釋放預(yù)期，同時(shí)即便是有著如此嚴(yán)格的溫控策略，MagicV5的性能表現(xiàn)也依然要明顯高于那些使用老平臺(tái)的競(jìng)爭(zhēng)對(duì)手。Magic V5不只是開(kāi)創(chuàng)…07-02京東JoyInside攜AI潮玩來(lái)襲，攜手十余家機(jī)器人品牌打造智能生態(tài)07-02點(diǎn)擊查看更多 +全站最新宇宙信使：揭秘玻璃隕石的奧秘與魅力2025上半年機(jī)票均價(jià)740元，暑運(yùn)旺季來(lái)臨價(jià)格上揚(yáng)至839元美波音737客機(jī)飛行中襟翼掉落 疑似墜入居民區(qū)車(chē)道美波音737客機(jī)飛行中襟翼掉落 疑似墜入居民區(qū)車(chē)道馬斯克旗下xAI Grok 4曝光，百億融資助力“重塑知識(shí)庫(kù)”計(jì)劃豐田汽車(chē)上調(diào)零部件采購(gòu)價(jià)，力保6萬(wàn)家供應(yīng)商穩(wěn)定運(yùn)營(yíng)熱門(mén)內(nèi)容

• 高考志愿填報(bào)熱潮中，夸克“深度搜索”成考生新寵，人均使用4次尋建議
• 馬斯克宣布Grok 4大模型即將面世，或?qū)榫幊檀蛟?/li>
• 高考志愿填報(bào)熱潮下，夸克“深度搜索”助力考生，人均使用達(dá)4次
• 中國(guó)知網(wǎng)CNKI AI：重塑知識(shí)服務(wù)新生態(tài)，四大核心力引領(lǐng)未來(lái)
• 蘋(píng)果AI「Apple Intelligence」國(guó)行版，終于要來(lái)了嗎？
• QQ瀏覽器AI高考通新上線(xiàn)：智能生成高考志愿報(bào)告，助你科學(xué)填報(bào)！
• 火山引擎PromptPilot：一鍵優(yōu)化指令，解鎖AI大模型新效能
• 阿里領(lǐng)投硅基流動(dòng)，清華系A(chǔ)I創(chuàng)企再獲數(shù)億融資，DeepSeek流量爆棚后新動(dòng)作？
• 夸克高考志愿大模型上線(xiàn)，讓每個(gè)考生擁有自己的AI志愿填報(bào)顧問(wèn)！
• 字節(jié)跳動(dòng)火山引擎發(fā)布豆包1.6與Seedance1.0，AI技術(shù)再升級(jí)成本大降
• 優(yōu)志愿鴻蒙版上線(xiàn)，AI智能填報(bào)高考志愿，科學(xué)規(guī)劃升學(xué)新路徑
• 英偉達(dá)攬才：清華“天才少年”朱邦華攜手焦劍濤加盟
• 淘天集團(tuán)RecGPT大模型上線(xiàn)，電商推薦迎來(lái)個(gè)性化新升級(jí)
• 斯坦福評(píng)測(cè)：DeepSeek R1醫(yī)療AI大放異彩，成臨床場(chǎng)景新冠軍
• 《Artificial》今夏開(kāi)機(jī)，揭秘OpenAI 2023年CEO罷免又復(fù)職風(fēng)波

本欄最新三星Galaxy Z Fold新機(jī)：7月9日震撼發(fā)布，16GB+1TB高配來(lái)襲榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊芯片中國(guó)移動(dòng)新動(dòng)作：九天人工智能科技公司成立，注冊(cè)資本高達(dá)20億榮耀Magic V5震撼發(fā)布：輕薄折疊旗艦，搭載6100mAh大電池與驍龍8至尊版榮耀Magic V5深度評(píng)測(cè)：輕薄新紀(jì)錄，AI折疊屏新標(biāo)桿榮耀Magic V5震撼發(fā)布：纖薄新紀(jì)錄，滿(mǎn)血配置售價(jià)8999元起

本文鏈接：http://www.www897cc.com/showinfo-45-14354-0.htmlSciArena平臺(tái)亮相：科研人員親測(cè)，大語(yǔ)言模型科學(xué)文獻(xiàn)任務(wù)表現(xiàn)大比拼

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： MIT新研究：AI寫(xiě)作工具使用或致大腦活躍度下滑

下一篇： 谷歌發(fā)布Gemini for Education：免費(fèi)AI工具助力全球教育創(chuàng)新與公平