茅臺的元宇宙App火了，也被罵慘了
元宇宙從概念走向大眾生活，并不是一件簡單的事情。技術(shù)、世界觀、填充內(nèi)容、載體形式，每一個環(huán)節(jié)都需要層層疊疊的邏輯。但正如賽博朋克奠基人威廉·吉布
4 月 10 日消息，蘋果公司近日發(fā)布研究論文，展示了 Ferret-UI AI 系統(tǒng)，可以理解應用程序屏幕上的內(nèi)容。
以 ChatGPT 為代表的 AI 大語言模型（LLMs），其訓練材料通常是文本內(nèi)容。為了能夠讓 AI 模型能夠理解圖像、視頻和音頻等非文本內(nèi)容，多模態(tài)大語言模型（MLLMs）因此孕育而生。
只是現(xiàn)階段 MLLMs 還無法有效理解移動應用程序，這主要有以下幾個原因：
1. 手機屏幕的寬高比，和大多數(shù)訓練圖像使用的屏幕寬高比不同。
2. MLLMs 需要識別出圖標和按鈕，但它們相對來說都比較小。
因此蘋果構(gòu)想了名為 Ferret-UI 的 MLLM 系統(tǒng)解決了這些問題：
與自然圖像相比，用戶界面屏幕的長寬比通常更長，包含的關(guān)注對象（如圖標、文本）也更小，因此我們在 Ferret 的基礎上加入了 "任意分辨率"，以放大細節(jié)并利用增強的視覺功能。
我們精心收集了大量初級用戶界面任務的訓練樣本，如圖標識別、查找文本和小部件列表。這些樣本的格式都是按照帶有區(qū)域注釋的指令來設計的，以便于精確引用和接地。
為了增強模型的推理能力，我們進一步編制了高級任務數(shù)據(jù)集，包括詳細描述、感知 / 交互對話和功能推理。
蘋果在論文中表示相比較現(xiàn)有的 GPT-4V，以及其它 MLLMs 模型，F(xiàn)erret-UI AI 模型更為優(yōu)秀。
附上參考地址
Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs
本文鏈接：http://www.www897cc.com/showinfo-45-3949-0.html蘋果介紹 Ferret-UI 多模態(tài)大語言模型：更充分理解手機屏幕內(nèi)容
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號