日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

華中科技大學開源多模態大模型“Monkey”,看圖說話能力號稱超越微軟谷歌

來源: 責編: 時間:2023-12-20 17:45:31 342觀看
導讀 12 月 14 日消息,據華中科技大學消息,近日,華中科技大學軟件學院白翔教授領銜的 VLRLab 團隊發布了多模態大模型 ——“Monkey”。該模型號稱能夠實現對世界的“觀察”,對圖片進行深入的問答交流和精確描述。▲

12 月 14 日消息,據華中科技大學消息,近日,華中科技大學軟件學院白翔教授領銜的 VLRLab 團隊發布了多模態大模型 ——“Monkey”。該模型號稱能夠實現對世界的“觀察”,對圖片進行深入的問答交流和精確描述。m4528資訊網——每日最新資訊28at.com

m4528資訊網——每日最新資訊28at.com

▲ 圖源 Monkey 項目的 GitHub 頁面

注:多模態大模型是一類可以同時處理和整合多種感知數據(例如文本、圖像、音頻等)的 AI 架構。m4528資訊網——每日最新資訊28at.com

據介紹,Monkey 模型在 18 個數據集上的實驗中表現出色,特別是在圖像描述和視覺問答任務方面,超越了眾多現有知名的模型如微軟的 LLAVA、谷歌的 PALM-E、阿里的 Mplug-owl 等。此外,Monkey 在文本密集的問答任務中顯示出“顯著的優勢”,甚至在某些樣本上超越了業界公認的領先者 ——OpenAI 的多模態大模型 GPT-4V。m4528資訊網——每日最新資訊28at.com

m4528資訊網——每日最新資訊28at.com

Monkey 的一個顯著特點是“看圖說話”能力。在詳細描述任務中,Monkey 展現了對圖像細節的感知能力,能夠察覺到其他多模態大模型所忽略的內容。如對下圖進行的文本描述中,Monkey 正確地將其識別為埃菲爾鐵塔的繪畫,并提供了構圖和配色方案的詳細描述。而對左下角的文字,只有 Monkey 和 GPT-4V 能將其準確地識別為作者名。m4528資訊網——每日最新資訊28at.com

m4528資訊網——每日最新資訊28at.com

Monkey 號稱能夠利用現有的工具構建一種多層級的描述生成方法,即通過五個步驟依次對圖片進行整體簡述、空間定位、模塊化識別、描述賦分選取和最終總結,此舉可以充分結合不同工具的特性,提升描述的準確性和豐富程度。m4528資訊網——每日最新資訊28at.com

m4528資訊網——每日最新資訊28at.com

“一個個工具就好比不同的零件,合理的排列組合才能使其發揮最大作用,”白翔教授說,“我們團隊從 2003 年開始便從事圖像識別研究,去年我們又從海外引進了專攻多模態大模型的青年人才,Monkey 的最終方案是大家一起反復討論,嘗試了 10 余種方案后最終確定的。”白翔教授說。m4528資訊網——每日最新資訊28at.com

Monkey 的另一亮點是能夠處理分辨率最高 1344×896 像素的圖像,這是目前其他多模態大模型所能處理的最大尺寸的 6 倍,這意味著 Monkey 能對更大尺寸的圖片進行更準確、豐富、細致的描述甚至推理。m4528資訊網——每日最新資訊28at.com

Monkey多模態大模型代碼目前已在 GitHub 開源,附開源地址:m4528資訊網——每日最新資訊28at.com

https://github.com/Yuliang-Liu/Monkeym4528資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-2978-0.html華中科技大學開源多模態大模型“Monkey”,看圖說話能力號稱超越微軟谷歌

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 利用瀏覽器歷史記錄訓練設備端 AI,Mozilla 公布 MemoryCache 項目

下一篇: 身邊云榮膺第一資源“2023人力資源先鋒服務機構”

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 宁武县| 南涧| 芒康县| 霍山县| 双柏县| 兴国县| 临猗县| 清水河县| 遂川县| 临泉县| 阿拉善右旗| 永登县| 元谋县| 张家口市| 张掖市| 开化县| 特克斯县| 都昌县| 安西县| 浮山县| 鹿泉市| 临安市| 云浮市| 南江县| 大余县| 新蔡县| 彭泽县| 栖霞市| 故城县| 晴隆县| 汉源县| 泸定县| 长顺县| 麻城市| 昌乐县| 横山县| 磐安县| 博白县| 鄂托克旗| 临沂市| 紫云|