B端難做：留給魔琺科技的時間不多了
來源：零態LT元宇宙泡沫正在碎裂，進入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個月的工業元宇宙部門；今年3月，該公司2017年收購的虛擬現實社交平臺AltspaceVR
12 月 14 日消息，據華中科技大學消息，近日，華中科技大學軟件學院白翔教授領銜的 VLRLab 團隊發布了多模態大模型 ——“Monkey”。該模型號稱能夠實現對世界的“觀察”，對圖片進行深入的問答交流和精確描述。
注：多模態大模型是一類可以同時處理和整合多種感知數據（例如文本、圖像、音頻等）的 AI 架構。
據介紹，Monkey 模型在 18 個數據集上的實驗中表現出色，特別是在圖像描述和視覺問答任務方面，超越了眾多現有知名的模型如微軟的 LLAVA、谷歌的 PALM-E、阿里的 Mplug-owl 等。此外，Monkey 在文本密集的問答任務中顯示出“顯著的優勢”，甚至在某些樣本上超越了業界公認的領先者 ——OpenAI 的多模態大模型 GPT-4V。
Monkey 的一個顯著特點是“看圖說話”能力。在詳細描述任務中，Monkey 展現了對圖像細節的感知能力，能夠察覺到其他多模態大模型所忽略的內容。如對下圖進行的文本描述中，Monkey 正確地將其識別為埃菲爾鐵塔的繪畫，并提供了構圖和配色方案的詳細描述。而對左下角的文字，只有 Monkey 和 GPT-4V 能將其準確地識別為作者名。
Monkey 號稱能夠利用現有的工具構建一種多層級的描述生成方法，即通過五個步驟依次對圖片進行整體簡述、空間定位、模塊化識別、描述賦分選取和最終總結，此舉可以充分結合不同工具的特性，提升描述的準確性和豐富程度。
“一個個工具就好比不同的零件，合理的排列組合才能使其發揮最大作用，”白翔教授說，“我們團隊從 2003 年開始便從事圖像識別研究，去年我們又從海外引進了專攻多模態大模型的青年人才，Monkey 的最終方案是大家一起反復討論，嘗試了 10 余種方案后最終確定的。”白翔教授說。
Monkey 的另一亮點是能夠處理分辨率最高 1344×896 像素的圖像，這是目前其他多模態大模型所能處理的最大尺寸的 6 倍，這意味著 Monkey 能對更大尺寸的圖片進行更準確、豐富、細致的描述甚至推理。
Monkey多模態大模型代碼目前已在 GitHub 開源，附開源地址：
https://github.com/Yuliang-Liu/Monkey
本文鏈接：http://www.www897cc.com/showinfo-45-2978-0.html華中科技大學開源多模態大模型“Monkey”，看圖說話能力號稱超越微軟谷歌
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號