這場虛擬人爭奪戰(zhàn)，互聯(lián)網(wǎng)巨頭下場先贏一半？
撰文/ 孟會緣 近兩年間，要論引得無數(shù)互聯(lián)網(wǎng)巨頭競折腰的一大熱門產(chǎn)業(yè)，莫過于元宇宙領(lǐng)域中的數(shù)字人了。 作為繼數(shù)字藏品之后，開發(fā)元宇宙的又一重點落地項目，互聯(lián)網(wǎng)
難度大升級的多任務(wù)長視頻理解評測基準(zhǔn) MLVU 來了！由智源聯(lián)合北郵、北大和浙大等多所高校推出。究竟有多難呢？最終排名第一的 GPT-4o 單選正確率還不足 65%。
而且研究發(fā)現(xiàn)，大部分模型的性能都會隨著視頻時長增加顯著下降。
研究進一步證明，提升上下文窗口，提升圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
目前相關(guān)論文及數(shù)據(jù)集已公開，具體細(xì)節(jié)下面一起看看吧~
MLVU 的構(gòu)建過程當(dāng)前流行的 Video Benchmark 主要針對短視頻設(shè)計，大部分視頻的長度都在 1 分鐘以內(nèi)。
且現(xiàn)有評測基準(zhǔn)往往專注在特定領(lǐng)域的視頻（例如電影、第一視角）和特定的視頻評測任務(wù)（例如 Captioning，Temporal Perception，Action Understanding）。
此外，現(xiàn)有部分長視頻理解評測任務(wù)往往只和局部幀有關(guān)，或者針對經(jīng)典電影進行問答，這導(dǎo)致 MLLMs 可以直接憑借 text prompt 正確回答而無需對視頻進行分析。
針對以上不足，新基準(zhǔn) MLVU 從以下 3 個層面進行構(gòu)建：
時長和來源更豐富MLVU 的視頻時長覆蓋了 3 分鐘到超過 2 小時，平均視頻時長 12 分鐘，極大擴展了當(dāng)前流行的 Video Benchmark 的時長范圍。
另外，MLVU 的大部分任務(wù)標(biāo)注過程中進行了片段-問題對應(yīng)標(biāo)注。
例如，Video Summarization 任務(wù)分段標(biāo)注了視頻的前 3 分鐘，前 6 分鐘……
這意味著，MLLMs 可以靈活地在 MLVU 上選擇測試不同時長情況下的長視頻理解能力。
同時，MLVU 收集了包括電影、電視劇、紀(jì)錄片、卡通動畫片、監(jiān)控視頻、第一視角視頻和游戲視頻等多個類型的長視頻，覆蓋了長視頻理解的多個領(lǐng)域范圍。
團隊針對長視頻理解設(shè)計了 9 類不同的任務(wù)，并進一步將任務(wù)分為三類：全面理解、單細(xì)節(jié)理解、多細(xì)節(jié)理解。
全面理解任務(wù)：要求 MLLMs 理解和利用視頻的全局信息來解決問題
單細(xì)節(jié)理解任務(wù)：要求 MLLMs 根據(jù)問題定位長視頻中的某一細(xì)節(jié)，并利用該細(xì)節(jié)來解決問題
多細(xì)節(jié)理解任務(wù)：要去 MLLMs 定位和理解長視頻中的多個相關(guān)片段來完成和解決問題
此外，還包括了單項選擇題和開放生成式問題，全面考察 MLLMs 在不同場景下的長視頻理解能力。
以下為 9 大任務(wù)的示例：
為了突出新舊基準(zhǔn)變化，直接以情節(jié)問答（Plot Question Answering）任務(wù)為例。
假如以電影、電視的角色作為問題線索來對 MLLMs 進行提問，舊基準(zhǔn)的常見問題有兩種。
一是挑“經(jīng)典”下手，這導(dǎo)致 MLLMs 在沒有對視頻進行分析的情況下，直接使用了自有知識回答問題。
另一部分試圖避免這個問題，但由于長視頻的復(fù)雜性，僅僅利用代詞和描述性語句來指代情節(jié)細(xì)節(jié)非常困難。
他們的問題非常寬泛或者需要在問題中額外指定具體的時間片段而不是讓 MLLMs 自己根據(jù)題目尋找對應(yīng)細(xì)節(jié)。
MLVU 通過精細(xì)的人工標(biāo)注克服了這些問題。
在所有的情節(jié)問答任務(wù)中，MLVU 均使用“具有詳細(xì)細(xì)節(jié)的代詞”來指代情節(jié)中的人物、事件或背景，避免了問題泄露帶來的潛在影響，MLLMs 需要根據(jù)問題提供的線索識別和定位相關(guān)片段才能進一步解決問題。
此外，MLVU 的 Plot QA 問題具備豐富的多樣性，增強了評測的合理性和可靠性。
團隊在 MLVU 上對 20 個流行的 MLLM 進行了評測，包括開源模型和閉源模型。
實驗結(jié)果表明，盡管 GPT-4o 在所有任務(wù)中均取得了第 1 名，但它的單選平均準(zhǔn)確率只有 64.6%。
且所有模型都在需要細(xì)粒度理解能力的任務(wù)上（單細(xì)節(jié)、多細(xì)節(jié)理解任務(wù)）表現(xiàn)糟糕。
此外，大部分模型的性能都會隨著視頻時長增加顯著下降。
另一明顯結(jié)論是，開源模型和閉源模型之間存在較大的差距。
開源模型中單項選擇題性能最強的 InternVL-1.5 單選平均準(zhǔn)確度僅有 50.4%；開放生成式題目最強的 LLaMA-Vid 得分僅有 4.22，均遠(yuǎn)遠(yuǎn)落后于 GPT-4o 的 64.6% 和 5.80。
不過研究發(fā)現(xiàn)，提升上下文窗口，提升 MLLM 的圖像理解能力，以及使用更強大的 LLM Backbone 對長視頻理解的性能具有顯著的提升作用。
這揭示了未來 MLLMs 在提升長視頻理解能力的重要改進方向。
論文：
https://arxiv.org/abs/2406.04264
項目鏈接：
https://github.com/JUNJIE99/MLVU
本文來自微信公眾號：量子位（ID：QbitAI），作者：關(guān)注前沿科技
本文鏈接：http://www.www897cc.com/showinfo-45-4772-0.htmlGPT-4o 差點沒及格！首個多任務(wù)長視頻評測基準(zhǔn)，它有億點難
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 沒有授權(quán)也沒關(guān)系？多家 AI 公司被曝繞過網(wǎng)絡(luò)標(biāo)準(zhǔn)抓取新聞出版商網(wǎng)站內(nèi)容
下一篇： 斯坦福大模型評測榜 Claude 3 排名第一，阿里 Qwen2、零一萬物 Yi Large 國產(chǎn)模型進入前十
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號