大廠元宇宙，又菜又愛玩
撰文 | 吳先之 編輯 | 王 潘當下所有大廠推出的元宇宙產品，所能帶來的沉浸式體驗并不多，好在國內外科技巨頭在bug方面都處在同一水平線。以Meta為例，由于VR頭顯設
5 月 13 日消息，科技媒體 marktechpost 今天（5 月 13 日）發布博文，報道稱蘋果公司聯合復旦大學，推出 StreamBridge 端側視頻大語言模型（Video-LLMs）框架，助力 AI 理解直播流視頻。
直播流視頻理解的挑戰與需求
傳統視頻大語言模型擅長處理靜態視頻，但無法適應機器人技術和自動駕駛等需要實時感知的場景，在這些場景下，要求模型能快速理解直播視頻流內容，并做出反應。
現有的模型面臨兩大難題：一是多輪實時理解，即在處理最新視頻片段時需保留歷史視覺和對話上下文；二是主動響應，要求模型像人類一樣主動監控視頻流，并在無明確指令的情況下及時輸出反饋。
StreamBridge 框架與創新技術
為解決上述問題，蘋果公司與復旦大學的研究者開發了 StreamBridge 框架。該框架通過內存緩沖區和輪次衰減壓縮策略，支持長上下文交互。
該框架還引入了一個輕量化的獨立激活模型，無縫集成現有視頻大語言模型，實現主動響應功能。研究團隊還推出了 Stream-IT 數據集，包含約 60 萬個樣本，融合了視頻與文本序列，支持多樣化的指令格式，旨在提升流式視頻理解能力。
StreamBridge 在主流離線模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-7B 上進行了測試。結果顯示，Qwen2-VL 在 OVO-Bench 和 Streaming-Bench 上的平均分分別提升至 71.30 和 77.04，超越了 GPT-4o 和 Gemini 1.5 Pro 等專有模型。
Oryx-1.5 也取得了顯著進步，而 LLaVA-OV 性能略有下降。Stream-IT 數據集的微調進一步提升了所有模型的表現，證明了 StreamBridge 在流式視頻理解領域的強大潛力。
附上參考地址
StreamBridge: Turning Your Offline Video Large Language Model into a Proactive Streaming Assistant
本文鏈接：http://www.www897cc.com/showinfo-45-12847-0.html蘋果攜手復旦大學推 StreamBridge 端側視頻大語言模型框架，AI 可實時響應視頻流
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： OpenAI 高管：AI 未來可自主生成知識，商業與科研迎來革命
下一篇： OpenAI 擴展 ChatGPT AI 深度研究連接器，集成微軟 OneDrive 和 SharePoint
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號