耶魯大學研究團隊開發出一套名為MMVU的創新評估系統，專門用于檢測人工智能模型在專業視頻理解領域的表現。該系統通過讓AI觀看科學實驗、醫學手術、工程演示等真實場景視頻并回答相關問題，模擬人類專業考試環境，為AI技術發展提供全新評估維度。g3128資訊網——每日最新資訊28at.com

研究團隊構建了包含3000道題目的測試庫，覆蓋科學、醫療、工程、人文四大領域27個細分學科。每道題目均由領域專家根據權威教材設計，要求AI不僅識別視頻內容，還需運用專業知識進行深度推理。例如在化學測試中，AI需通過觀察反應現象計算產物質量；工程測試則要求識別機械運轉背后的算法原理。g3128資訊網——每日最新資訊28at.com

測試嚴格排除含文字說明的視頻素材，僅使用具有創意共用許可證的YouTube內容，確保評估聚焦視覺理解能力。專家團隊采用"課本指導"出題法，先確定核心知識點，再尋找匹配視頻，最后設計需要綜合運用的復雜問題。每題均配備詳細解答和專業背景說明，便于分析模型錯誤根源。g3128資訊網——每日最新資訊28at.com

參與測試的32個前沿AI模型來自17個機構，包括OpenAI、Google等科技企業的商業模型和開源社區作品。測試設置"思維鏈推理"和"直接回答"兩種模式，前者要求模型展示推理過程，后者僅需給出答案。結果顯示，OpenAI的o1模型以80%準確率領先，Google的Gemini 2.0 Flash Thinking緊隨其后，但多數模型表現明顯弱于人類專家。g3128資訊網——每日最新資訊28at.com

人類專家測試分為閉卷、開卷和答案修正三個階段。閉卷考試中，5位跨學科專家在3.5小時內完成隨機抽取的120題，平均準確率49.7%；開卷階段允許使用外部資源后，準確率躍升至86.8%；參考標準答案修正后，準確率達95.3%。對比顯示，當前頂尖AI模型已接近人類開卷水平，但多數模型仍有顯著差距。g3128資訊網——每日最新資訊28at.com

錯誤分析揭示AI五大薄弱環節：視覺感知錯誤占比18%，如混淆算法類型；視覺專業知識誤用占20%，如誤判實驗設備；推理專業知識誤用達27%，如錯誤歸因生物學現象；過度依賴文字信息占20%，忽視視頻關鍵證據；邏輯矛盾占6%。這些錯誤類型為技術改進指明方向，顯示AI在知識整合和復雜推理方面存在根本性局限。g3128資訊網——每日最新資訊28at.com

開源模型表現超出預期，Qwen2-VL-72B等作品在閉卷測試中超越人類平均水平。研究特別指出，具備長時間推理能力的模型表現更優，o1和Gemini 2.0 Flash Thinking通過延長思考周期顯著提升準確率。這提示延長AI"思考時間"可能是提升專業理解能力的有效途徑。g3128資訊網——每日最新資訊28at.com

該研究通過系統化評估證明，現有AI在專業視頻理解領域仍處初級階段。盡管頂尖模型已展現潛力，但在醫療診斷、工程設計等關鍵領域，AI系統仍需突破知識整合、上下文理解和邏輯推理等多重挑戰。MMVU評估框架的建立，為追蹤AI專業能力發展提供了可持續的基準工具。g3128資訊網——每日最新資訊28at.com

   更多>同類資訊阿里巴巴與港中大攜手：SCRIT系統賦能AI，開啟自我糾錯與進化新篇章09-19可靈AI數字人正式登場：極簡操作實現高質輸出，重塑數字人行業標準09-19華為徐直軍：未來3年昇騰芯片將快速演進，2027年超節點集群規模達百萬卡級09-19莫斯科團隊研發SRMT技術：共享記憶賦能機器人，開啟高效協作新篇章09-19小紅書“利劍出鞘”：多維治理體系精準打擊虛假營銷生態09-19DeepSeek-R1登《自然》封面：AI大模型邁向科學嚴謹，融入更廣科學交流圈09-19七年估值暴漲超70倍！80后博士領航國星宇航，商業航天征途盈利幾何？09-19寒武紀2025半年業績會：辟謠百萬訂單傳聞，透露新一代芯片優化進展09-19寒武紀業績會聚焦成長：AI算力需求激增，智能芯片迎發展新機遇09-19英偉達50億美元注資英特爾，黃仁勛陳立武攜手共拓AI與PC新未來09-19均勝電子新品亮相：AI頭部總成、全域控制器等完善機器人產品矩陣本報訊（記者吳奕萱）9月18日，寧波均勝電子股份有限公司（以下簡稱“均勝電子”）舉行機器人部件新產品發布會，正式公開機器人AI頭部總成、基于英偉達Jetson Thor芯片的全域控制器和新一代機器人能源管理…09-19中科信息：引入腦機接口技術輔助智慧醫療，完成機器視覺全產業鏈布局9月18日晚間，中科信息（300678.SZ）披露投資者活動記錄表，稱公司目前未開展腦機接口業務，但根據智慧醫療業務的需要，引進腦機接口技術及設備作為輔助工具，研發基于光遺傳調控的閉環腦機接口（BMI）系統…09-19宇樹科技9年砥礪前行，上市在即，機器人賽道或迎新發展浪潮宇樹科技的團隊成員們日夜鉆研，不斷嘗試新的技術和設計方案，經過無數次的失敗與調整，2017 年，首款四足機器人 Laikago 問世，它的出現，雖然在性能上還有諸多不足，但對于宇樹科技來說，卻是邁出了堅實的…09-19?中文互聯網基礎語料3.0發布?：120GB高質量數據助力AI訓練與發展?9 月 18 日消息，今日上午，在昆明召開的 2025 年國家網絡安全宣傳周人工智能安全治理分論壇上，中文互聯網基礎語料 3.0正式向社會發布。 在中央網信辦相關部門指導下，中國網絡空間安全協會會…09-19數聯古今智繪文明 2025世界互聯網大會文化遺產數字化論壇啟幕開幕式后舉行了主論壇，與會嘉賓圍繞“保護·傳承”“技術·創新”“產業·賦能”“開放·共治”四個議題展開深入討論，著力探索數字化賦能文化遺產保護的新方法、新路徑，推動文明交流互鑒。論壇期間，還舉行了文化遺產數…09-19點擊查看更多 +全站最新李榮浩意外“解鎖”新身份，成iOS更新后創意二創靈感源？?蘋果或于2025年四季度量產低價MacBook，A系列芯片+多彩設計能否掀起新熱潮？?OPPO K13s與K13x正式開售：滿級防水抗摔，799元起享超值體驗哈啰跨界Robotaxi，攜螞蟻寧德入局，兩年內能否實現萬輛規模突圍？大連推進氫燃料電池汽車示范建設：聚焦產業鏈發展 部署關鍵任務AI助力混合動力技術升級 “十五五”協同創新開啟全能發展新篇章熱門內容

• 熱度攀升！千億科技龍頭頻獲機構調研，業務增長透露哪些行業新動向？
• 蘋果加速AI布局，或收購兩家法國AI初創企業
• DeepSeek V3.1大模型升級，適配國產新芯片，性能顯著提升
• 蘋果秋季發布會亮相iPhone 17系列："史上最薄"Air登場，Pro Max 2TB版定價17999元
• ?小米16系列或提前登場，首發驍龍8 Elite Gen5，9月機圈大戰一觸即發?
• 國金證券：A股第三輪重估腳步臨近，三類資產投資方向值得關注
• 蘋果加速布局中國市場！Apple Intelligence和新版Siri或年底至明年上線
• 蘋果AI布局加速，或將斥巨資收購歐洲兩大AI初創企業
• 紅米Note15系列前瞻：7s芯片、7000mAh大電池，防水新標桿即將登場
• WAVE SUMMIT大會新動態：文心大模型X1.1上線，多項能力顯著躍升
• 華為智能手表登頂全球，蘋果需直面挑戰求變革
• 科創板AI基金8月22日凈值飆升7.79%，重倉股表現搶眼
• ?字節跳動千人芯片團隊架構調整，轉至新加坡子公司Picoheart引關注?
• vivo X300系列新機入網：首發LYT-828+2億像素，衛通版支持北斗衛星短信
• 華為云重組風暴：多部門整合，聚焦AI領域引發關注

本欄最新寒武紀2025半年業績會：辟謠百萬訂單傳聞，透露新一代芯片優化進展寒武紀業績會聚焦成長：AI算力需求激增，智能芯片迎發展新機遇英偉達50億美元注資英特爾，黃仁勛陳立武攜手共拓AI與PC新未來均勝電子新品亮相：AI頭部總成、全域控制器等完善機器人產品矩陣中科信息：引入腦機接口技術輔助智慧醫療，完成機器視覺全產業鏈布局宇樹科技9年砥礪前行，上市在即，機器人賽道或迎新發展浪潮

本文鏈接：http://www.www897cc.com/showinfo-45-27785-0.html耶魯大學打造MMVU測試：AI專業視頻理解能力迎來“大考”

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 三年半虧6億，80后博士帶隊，國星宇航赴港IPO能否“沖上云霄”？

下一篇： 阿里巴巴與港中大攜手：SCRIT系統賦能AI，開啟自我糾錯與進化新篇章