元宇宙終究沒火過兩年
來源：傳播體操在ChatGPT快速破圈的同時，元宇宙的熱度卻一瀉千里。雖然互聯網大廠們都沒有否認元宇宙的長期想象力，但在行動上卻都紛紛表示了對元宇宙短期前景的悲觀。號稱改變
11 月 16 日消息，谷歌公司近日發布新聞稿，介紹了小型人工智能模型 Mirasol，可以回答有關視頻的問題并創造新的記錄。
AI 模型目前很難處理不同的數據流，如果要讓 AI 理解視頻，需要整合視頻、音頻和文本等不同模態的信息，這大大增加了難度。
谷歌和谷歌 Deepmind 的研究人員提出了新的方法，將多模態理解擴展到長視頻領域。
借助 Mirasol AI 模型，該團隊試圖解決兩個關鍵挑戰：
需要以高頻采樣同步視頻和音頻，但要異步處理標題和視頻描述。
視頻和音頻會生成大量數據，這會讓模型的容量緊張。
谷歌在 Mirasol 中使用合路器（combiners）和自回歸轉換器（autoregressive transformer）模型。
該模型組件會處理時間同步的視頻和音頻信號，然后再將視頻拆分為單獨的片段。
轉換器處理每個片段，并學習每個片段之間的聯系，然后使用另一個轉換器處理上下文文本，這兩個組件交換有關其各自輸入的信息。
名為 Combiner 的新穎轉換模塊從每個片段中提取通用表示，并通過降維來壓縮數據。每個段包含 4 到 64 幀，該模型當前共有 30 億個參數，可以處理 128 到 512 幀的視頻。
在測試中，Mirasol3B 在視頻問題分析方面達到了新的基準，體積明顯更小，并且可以處理更長的視頻。使用包含內存的組合器變體，該團隊可以將所需的計算能力進一步降低 18%。
在此附上 Mirasol 的官方新聞稿，感興趣的用戶可以深入閱讀。
本文鏈接：http://www.www897cc.com/showinfo-45-2592-0.html谷歌發布 Mirasol：30 億參數，將多模態理解擴展到長視頻
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號