5 月 13 日消息，科技媒體 marktechpost 今天（5 月 13 日）發(fā)布博文，報(bào)道稱蘋果公司聯(lián)合復(fù)旦大學(xué)，推出 StreamBridge 端側(cè)視頻大語言模型（Video-LLMs）框架，助力 AI 理解直播流視頻。RS028資訊網(wǎng)——每日最新資訊28at.com

直播流視頻理解的挑戰(zhàn)與需求RS028資訊網(wǎng)——每日最新資訊28at.com

傳統(tǒng)視頻大語言模型擅長處理靜態(tài)視頻，但無法適應(yīng)機(jī)器人技術(shù)和自動(dòng)駕駛等需要實(shí)時(shí)感知的場景，在這些場景下，要求模型能快速理解直播視頻流內(nèi)容，并做出反應(yīng)。RS028資訊網(wǎng)——每日最新資訊28at.com

現(xiàn)有的模型面臨兩大難題：一是多輪實(shí)時(shí)理解，即在處理最新視頻片段時(shí)需保留歷史視覺和對話上下文；二是主動(dòng)響應(yīng)，要求模型像人類一樣主動(dòng)監(jiān)控視頻流，并在無明確指令的情況下及時(shí)輸出反饋。RS028資訊網(wǎng)——每日最新資訊28at.com

StreamBridge 框架與創(chuàng)新技術(shù)RS028資訊網(wǎng)——每日最新資訊28at.com

為解決上述問題，蘋果公司與復(fù)旦大學(xué)的研究者開發(fā)了 StreamBridge 框架。該框架通過內(nèi)存緩沖區(qū)和輪次衰減壓縮策略，支持長上下文交互。RS028資訊網(wǎng)——每日最新資訊28at.com

RS028資訊網(wǎng)——每日最新資訊28at.com

該框架還引入了一個(gè)輕量化的獨(dú)立激活模型，無縫集成現(xiàn)有視頻大語言模型，實(shí)現(xiàn)主動(dòng)響應(yīng)功能。研究團(tuán)隊(duì)還推出了 Stream-IT 數(shù)據(jù)集，包含約 60 萬個(gè)樣本，融合了視頻與文本序列，支持多樣化的指令格式，旨在提升流式視頻理解能力。RS028資訊網(wǎng)——每日最新資訊28at.com

StreamBridge 在主流離線模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-7B 上進(jìn)行了測試。結(jié)果顯示，Qwen2-VL 在 OVO-Bench 和 Streaming-Bench 上的平均分分別提升至 71.30 和 77.04，超越了 GPT-4o 和 Gemini 1.5 Pro 等專有模型。RS028資訊網(wǎng)——每日最新資訊28at.com

Oryx-1.5 也取得了顯著進(jìn)步，而 LLaVA-OV 性能略有下降。Stream-IT 數(shù)據(jù)集的微調(diào)進(jìn)一步提升了所有模型的表現(xiàn)，證明了 StreamBridge 在流式視頻理解領(lǐng)域的強(qiáng)大潛力。RS028資訊網(wǎng)——每日最新資訊28at.com

附上參考地址RS028資訊網(wǎng)——每日最新資訊28at.com

StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming AssistantRS028資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-12847-0.html蘋果攜手復(fù)旦大學(xué)推 StreamBridge 端側(cè)視頻大語言模型框架，AI 可實(shí)時(shí)響應(yīng)視頻流

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI 高管：AI 未來可自主生成知識(shí)，商業(yè)與科研迎來革命

下一篇： OpenAI 擴(kuò)展 ChatGPT AI 深度研究連接器，集成微軟 OneDrive 和 SharePoint