日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

GPT-4o 差點沒及格!首個多任務長視頻評測基準,它有億點難

來源: 責編: 時間:2024-06-25 17:11:53 167觀看
導讀 難度大升級的多任務長視頻理解評測基準 MLVU 來了!由智源聯合北郵、北大和浙大等多所高校推出。究竟有多難呢?最終排名第一的 GPT-4o 單選正確率還不足 65%。而且研究發現,大部分模型的性能都會隨著視頻時長增加

難度大升級的多任務長視頻理解評測基準 MLVU 來了!由智源聯合北郵、北大和浙大等多所高校推出。究竟有多難呢?最終排名第一的 GPT-4o 單選正確率還不足 65%。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

而且研究發現,大部分模型的性能都會隨著視頻時長增加顯著下降。gKm28資訊網——每日最新資訊28at.com

研究進一步證明,提升上下文窗口,提升圖像理解能力,以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。gKm28資訊網——每日最新資訊28at.com

目前相關論文及數據集已公開,具體細節下面一起看看吧~gKm28資訊網——每日最新資訊28at.com

MLVU 的構建過程

當前流行的 Video Benchmark 主要針對短視頻設計,大部分視頻的長度都在 1 分鐘以內。gKm28資訊網——每日最新資訊28at.com

且現有評測基準往往專注在特定領域的視頻(例如電影、第一視角)和特定的視頻評測任務(例如 Captioning,Temporal Perception,Action Understanding)。gKm28資訊網——每日最新資訊28at.com

此外,現有部分長視頻理解評測任務往往只和局部幀有關,或者針對經典電影進行問答,這導致 MLLMs 可以直接憑借 text prompt 正確回答而無需對視頻進行分析。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

針對以上不足,新基準 MLVU 從以下 3 個層面進行構建:gKm28資訊網——每日最新資訊28at.com

時長和來源更豐富

MLVU 的視頻時長覆蓋了 3 分鐘到超過 2 小時,平均視頻時長 12 分鐘,極大擴展了當前流行的 Video Benchmark 的時長范圍。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

另外,MLVU 的大部分任務標注過程中進行了片段-問題對應標注。gKm28資訊網——每日最新資訊28at.com

例如,Video Summarization 任務分段標注了視頻的前 3 分鐘,前 6 分鐘……gKm28資訊網——每日最新資訊28at.com

這意味著,MLLMs 可以靈活地在 MLVU 上選擇測試不同時長情況下的長視頻理解能力。gKm28資訊網——每日最新資訊28at.com

同時,MLVU 收集了包括電影、電視劇、紀錄片、卡通動畫片、監控視頻、第一視角視頻和游戲視頻等多個類型的長視頻,覆蓋了長視頻理解的多個領域范圍。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

任務類別更全面

團隊針對長視頻理解設計了 9 類不同的任務,并進一步將任務分為三類:全面理解、單細節理解、多細節理解。gKm28資訊網——每日最新資訊28at.com

全面理解任務:要求 MLLMs 理解和利用視頻的全局信息來解決問題gKm28資訊網——每日最新資訊28at.com

單細節理解任務:要求 MLLMs 根據問題定位長視頻中的某一細節,并利用該細節來解決問題gKm28資訊網——每日最新資訊28at.com

多細節理解任務:要去 MLLMs 定位和理解長視頻中的多個相關片段來完成和解決問題gKm28資訊網——每日最新資訊28at.com

此外,還包括了單項選擇題和開放生成式問題,全面考察 MLLMs 在不同場景下的長視頻理解能力。gKm28資訊網——每日最新資訊28at.com

以下為 9 大任務的示例:gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

問題設置與答案標注更合理

為了突出新舊基準變化,直接以情節問答(Plot Question Answering)任務為例。gKm28資訊網——每日最新資訊28at.com

假如以電影、電視的角色作為問題線索來對 MLLMs 進行提問,舊基準的常見問題有兩種。gKm28資訊網——每日最新資訊28at.com

一是挑“經典”下手,這導致 MLLMs 在沒有對視頻進行分析的情況下,直接使用了自有知識回答問題。gKm28資訊網——每日最新資訊28at.com

另一部分試圖避免這個問題,但由于長視頻的復雜性,僅僅利用代詞和描述性語句來指代情節細節非常困難。gKm28資訊網——每日最新資訊28at.com

他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓 MLLMs 自己根據題目尋找對應細節。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

MLVU 通過精細的人工標注克服了這些問題。gKm28資訊網——每日最新資訊28at.com

在所有的情節問答任務中,MLVU 均使用“具有詳細細節的代詞”來指代情節中的人物、事件或背景,避免了問題泄露帶來的潛在影響,MLLMs 需要根據問題提供的線索識別和定位相關片段才能進一步解決問題。gKm28資訊網——每日最新資訊28at.com

此外,MLVU 的 Plot QA 問題具備豐富的多樣性,增強了評測的合理性和可靠性。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

模型在 MLVU 上的表現

團隊在 MLVU 上對 20 個流行的 MLLM 進行了評測,包括開源模型和閉源模型。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

實驗結果表明,盡管 GPT-4o 在所有任務中均取得了第 1 名,但它的單選平均準確率只有 64.6%。gKm28資訊網——每日最新資訊28at.com

且所有模型都在需要細粒度理解能力的任務上(單細節、多細節理解任務)表現糟糕。gKm28資訊網——每日最新資訊28at.com

此外,大部分模型的性能都會隨著視頻時長增加顯著下降。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

另一明顯結論是,開源模型和閉源模型之間存在較大的差距。gKm28資訊網——每日最新資訊28at.com

開源模型中單項選擇題性能最強的 InternVL-1.5 單選平均準確度僅有 50.4%;開放生成式題目最強的 LLaMA-Vid 得分僅有 4.22,均遠遠落后于 GPT-4o 的 64.6% 和 5.80。gKm28資訊網——每日最新資訊28at.com

不過研究發現,提升上下文窗口,提升 MLLM 的圖像理解能力,以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。gKm28資訊網——每日最新資訊28at.com

gKm28資訊網——每日最新資訊28at.com

這揭示了未來 MLLMs 在提升長視頻理解能力的重要改進方向。gKm28資訊網——每日最新資訊28at.com

論文:gKm28資訊網——每日最新資訊28at.com

https://arxiv.org/abs/2406.04264gKm28資訊網——每日最新資訊28at.com

項目鏈接:gKm28資訊網——每日最新資訊28at.com

https://github.com/JUNJIE99/MLVUgKm28資訊網——每日最新資訊28at.com

本文來自微信公眾號:量子位(ID:QbitAI),作者:關注前沿科技gKm28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4772-0.htmlGPT-4o 差點沒及格!首個多任務長視頻評測基準,它有億點難

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 沒有授權也沒關系?多家 AI 公司被曝繞過網絡標準抓取新聞出版商網站內容

下一篇: 斯坦福大模型評測榜 Claude 3 排名第一,阿里 Qwen2、零一萬物 Yi Large 國產模型進入前十

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 铁力市| 新巴尔虎右旗| 惠安县| 金平| 涿州市| 乳山市| 成武县| 凤翔县| 青铜峡市| 浑源县| 南部县| 临海市| 浮山县| 阜康市| 息烽县| 分宜县| 景宁| 沧源| 永修县| 成都市| 科技| 福建省| 册亨县| 兴业县| 久治县| 青田县| 海林市| 龙游县| 天门市| 贡嘎县| 太白县| 炉霍县| 碌曲县| 安国市| 天台县| 区。| 阳东县| 苏尼特左旗| 余干县| 桐乡市| 沙湾县|