日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 元宇宙 > AI

華中科技大學(xué)開源多模態(tài)大模型“Monkey”,看圖說(shuō)話能力號(hào)稱超越微軟谷歌

來(lái)源: 責(zé)編: 時(shí)間:2023-12-20 17:45:31 343觀看
導(dǎo)讀 12 月 14 日消息,據(jù)華中科技大學(xué)消息,近日,華中科技大學(xué)軟件學(xué)院白翔教授領(lǐng)銜的 VLRLab 團(tuán)隊(duì)發(fā)布了多模態(tài)大模型 ——“Monkey”。該模型號(hào)稱能夠?qū)崿F(xiàn)對(duì)世界的“觀察”,對(duì)圖片進(jìn)行深入的問(wèn)答交流和精確描述。▲

12 月 14 日消息,據(jù)華中科技大學(xué)消息,近日,華中科技大學(xué)軟件學(xué)院白翔教授領(lǐng)銜的 VLRLab 團(tuán)隊(duì)發(fā)布了多模態(tài)大模型 ——“Monkey”。該模型號(hào)稱能夠?qū)崿F(xiàn)對(duì)世界的“觀察”,對(duì)圖片進(jìn)行深入的問(wèn)答交流和精確描述。vMs28資訊網(wǎng)——每日最新資訊28at.com

vMs28資訊網(wǎng)——每日最新資訊28at.com

▲ 圖源 Monkey 項(xiàng)目的 GitHub 頁(yè)面

注:多模態(tài)大模型是一類可以同時(shí)處理和整合多種感知數(shù)據(jù)(例如文本、圖像、音頻等)的 AI 架構(gòu)。vMs28資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹,Monkey 模型在 18 個(gè)數(shù)據(jù)集上的實(shí)驗(yàn)中表現(xiàn)出色,特別是在圖像描述和視覺(jué)問(wèn)答任務(wù)方面,超越了眾多現(xiàn)有知名的模型如微軟的 LLAVA、谷歌的 PALM-E、阿里的 Mplug-owl 等。此外,Monkey 在文本密集的問(wèn)答任務(wù)中顯示出“顯著的優(yōu)勢(shì)”,甚至在某些樣本上超越了業(yè)界公認(rèn)的領(lǐng)先者 ——OpenAI 的多模態(tài)大模型 GPT-4V。vMs28資訊網(wǎng)——每日最新資訊28at.com

vMs28資訊網(wǎng)——每日最新資訊28at.com

Monkey 的一個(gè)顯著特點(diǎn)是“看圖說(shuō)話”能力。在詳細(xì)描述任務(wù)中,Monkey 展現(xiàn)了對(duì)圖像細(xì)節(jié)的感知能力,能夠察覺(jué)到其他多模態(tài)大模型所忽略的內(nèi)容。如對(duì)下圖進(jìn)行的文本描述中,Monkey 正確地將其識(shí)別為埃菲爾鐵塔的繪畫,并提供了構(gòu)圖和配色方案的詳細(xì)描述。而對(duì)左下角的文字,只有 Monkey 和 GPT-4V 能將其準(zhǔn)確地識(shí)別為作者名。vMs28資訊網(wǎng)——每日最新資訊28at.com

vMs28資訊網(wǎng)——每日最新資訊28at.com

Monkey 號(hào)稱能夠利用現(xiàn)有的工具構(gòu)建一種多層級(jí)的描述生成方法,即通過(guò)五個(gè)步驟依次對(duì)圖片進(jìn)行整體簡(jiǎn)述、空間定位、模塊化識(shí)別、描述賦分選取和最終總結(jié),此舉可以充分結(jié)合不同工具的特性,提升描述的準(zhǔn)確性和豐富程度。vMs28資訊網(wǎng)——每日最新資訊28at.com

vMs28資訊網(wǎng)——每日最新資訊28at.com

“一個(gè)個(gè)工具就好比不同的零件,合理的排列組合才能使其發(fā)揮最大作用,”白翔教授說(shuō),“我們團(tuán)隊(duì)從 2003 年開始便從事圖像識(shí)別研究,去年我們又從海外引進(jìn)了專攻多模態(tài)大模型的青年人才,Monkey 的最終方案是大家一起反復(fù)討論,嘗試了 10 余種方案后最終確定的。”白翔教授說(shuō)。vMs28資訊網(wǎng)——每日最新資訊28at.com

Monkey 的另一亮點(diǎn)是能夠處理分辨率最高 1344×896 像素的圖像,這是目前其他多模態(tài)大模型所能處理的最大尺寸的 6 倍,這意味著 Monkey 能對(duì)更大尺寸的圖片進(jìn)行更準(zhǔn)確、豐富、細(xì)致的描述甚至推理。vMs28資訊網(wǎng)——每日最新資訊28at.com

Monkey多模態(tài)大模型代碼目前已在 GitHub 開源,附開源地址:vMs28資訊網(wǎng)——每日最新資訊28at.com

https://github.com/Yuliang-Liu/MonkeyvMs28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-2978-0.html華中科技大學(xué)開源多模態(tài)大模型“Monkey”,看圖說(shuō)話能力號(hào)稱超越微軟谷歌

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: 利用瀏覽器歷史記錄訓(xùn)練設(shè)備端 AI,Mozilla 公布 MemoryCache 項(xiàng)目

下一篇: 身邊云榮膺第一資源“2023人力資源先鋒服務(wù)機(jī)構(gòu)”

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 主站蜘蛛池模板: 都安| 佛冈县| 汽车| 蒙自县| 正宁县| 新宾| 德昌县| 尉犁县| 建湖县| 永修县| 娄烦县| 井研县| 海城市| 美姑县| 建宁县| 酒泉市| 昔阳县| 剑阁县| 霸州市| 诸暨市| 平原县| 溧阳市| 新丰县| 天峨县| 翁牛特旗| 资兴市| 上蔡县| 阳西县| 永仁县| 黔江区| 金阳县| 安丘市| 应城市| 深圳市| 汾西县| 苗栗县| 凤冈县| 拜泉县| 开远市| 溧阳市| 霍邱县|