新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
難度大升級的多任務長視頻理解評測基準 MLVU 來了！由智源聯合北郵、北大和浙大等多所高校推出。究竟有多難呢？最終排名第一的 GPT-4o 單選正確率還不足 65%。
而且研究發現，大部分模型的性能都會隨著視頻時長增加顯著下降。
研究進一步證明，提升上下文窗口，提升圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
目前相關論文及數據集已公開，具體細節下面一起看看吧~
MLVU 的構建過程當前流行的 Video Benchmark 主要針對短視頻設計，大部分視頻的長度都在 1 分鐘以內。
且現有評測基準往往專注在特定領域的視頻（例如電影、第一視角）和特定的視頻評測任務（例如 Captioning，Temporal Perception，Action Understanding）。
此外，現有部分長視頻理解評測任務往往只和局部幀有關，或者針對經典電影進行問答，這導致 MLLMs 可以直接憑借 text prompt 正確回答而無需對視頻進行分析。
針對以上不足，新基準 MLVU 從以下 3 個層面進行構建：
時長和來源更豐富MLVU 的視頻時長覆蓋了 3 分鐘到超過 2 小時，平均視頻時長 12 分鐘，極大擴展了當前流行的 Video Benchmark 的時長范圍。
另外，MLVU 的大部分任務標注過程中進行了片段-問題對應標注。
例如，Video Summarization 任務分段標注了視頻的前 3 分鐘，前 6 分鐘……
這意味著，MLLMs 可以靈活地在 MLVU 上選擇測試不同時長情況下的長視頻理解能力。
同時，MLVU 收集了包括電影、電視劇、紀錄片、卡通動畫片、監控視頻、第一視角視頻和游戲視頻等多個類型的長視頻，覆蓋了長視頻理解的多個領域范圍。
團隊針對長視頻理解設計了 9 類不同的任務，并進一步將任務分為三類：全面理解、單細節理解、多細節理解。
全面理解任務：要求 MLLMs 理解和利用視頻的全局信息來解決問題
單細節理解任務：要求 MLLMs 根據問題定位長視頻中的某一細節，并利用該細節來解決問題
多細節理解任務：要去 MLLMs 定位和理解長視頻中的多個相關片段來完成和解決問題
此外，還包括了單項選擇題和開放生成式問題，全面考察 MLLMs 在不同場景下的長視頻理解能力。
以下為 9 大任務的示例：
為了突出新舊基準變化，直接以情節問答（Plot Question Answering）任務為例。
假如以電影、電視的角色作為問題線索來對 MLLMs 進行提問，舊基準的常見問題有兩種。
一是挑“經典”下手，這導致 MLLMs 在沒有對視頻進行分析的情況下，直接使用了自有知識回答問題。
另一部分試圖避免這個問題，但由于長視頻的復雜性，僅僅利用代詞和描述性語句來指代情節細節非常困難。
他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓 MLLMs 自己根據題目尋找對應細節。
MLVU 通過精細的人工標注克服了這些問題。
在所有的情節問答任務中，MLVU 均使用“具有詳細細節的代詞”來指代情節中的人物、事件或背景，避免了問題泄露帶來的潛在影響，MLLMs 需要根據問題提供的線索識別和定位相關片段才能進一步解決問題。
此外，MLVU 的 Plot QA 問題具備豐富的多樣性，增強了評測的合理性和可靠性。
團隊在 MLVU 上對 20 個流行的 MLLM 進行了評測，包括開源模型和閉源模型。
實驗結果表明，盡管 GPT-4o 在所有任務中均取得了第 1 名，但它的單選平均準確率只有 64.6%。
且所有模型都在需要細粒度理解能力的任務上（單細節、多細節理解任務）表現糟糕。
此外，大部分模型的性能都會隨著視頻時長增加顯著下降。
另一明顯結論是，開源模型和閉源模型之間存在較大的差距。
開源模型中單項選擇題性能最強的 InternVL-1.5 單選平均準確度僅有 50.4%；開放生成式題目最強的 LLaMA-Vid 得分僅有 4.22，均遠遠落后于 GPT-4o 的 64.6% 和 5.80。
不過研究發現，提升上下文窗口，提升 MLLM 的圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
這揭示了未來 MLLMs 在提升長視頻理解能力的重要改進方向。
論文：
https://arxiv.org/abs/2406.04264
項目鏈接：
https://github.com/JUNJIE99/MLVU
本文來自微信公眾號：量子位（ID：QbitAI），作者：關注前沿科技
本文鏈接：http://www.www897cc.com/showinfo-45-4772-0.htmlGPT-4o 差點沒及格！首個多任務長視頻評測基準，它有億點難
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 沒有授權也沒關系？多家 AI 公司被曝繞過網絡標準抓取新聞出版商網站內容
下一篇： 斯坦福大模型評測榜 Claude 3 排名第一，阿里 Qwen2、零一萬物 Yi Large 國產模型進入前十
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號