當(dāng)前位置：首頁(yè) > 元宇宙 > AI

清華大學(xué)合作推出看圖答題小能手 CogAgent：可告知《原神》游戲操作步驟等

來(lái)源：責(zé)編：時(shí)間：2024-01-02 09:26:41 254觀看

導(dǎo)讀 12 月 27 日消息，清華 KEG 實(shí)驗(yàn)室近日和智譜 AI 合作，聯(lián)合推出了新一代圖像理解大模型 CogAgent。該模型基于此前推出的 CogVLM，通過(guò)視覺(jué) GUI Agent，使用視覺(jué)模態(tài)（而非文本）對(duì) GUI 界面進(jìn)行更全面直接的感知，從而作

12 月 27 日消息，清華 KEG 實(shí)驗(yàn)室近日和智譜 AI 合作，聯(lián)合推出了新一代圖像理解大模型 CogAgent。

該模型基于此前推出的 CogVLM，通過(guò)視覺(jué) GUI Agent，使用視覺(jué)模態(tài)（而非文本）對(duì) GUI 界面進(jìn)行更全面直接的感知，從而作出規(guī)劃和決策。

CogAgent 可以接受 1120×1120 的高分辨率圖像輸入，具備視覺(jué)問(wèn)答、視覺(jué)定位（Grounding）、GUI Agent 等多種能力，在 9 個(gè)經(jīng)典的圖像理解榜單上（含 VQAv2，STVQA, DocVQA，TextVQA，MM-VET，POPE 等）取得了通用能力第一的成績(jī)。

例如，用戶輸入一張關(guān)于 CogVLM 項(xiàng)目的 GitHub 的圖片，然后詢問(wèn)如何給這個(gè)項(xiàng)目點(diǎn)“Star”，然后 CogAgent 就會(huì)反饋出結(jié)果。

圖源：中國(guó)網(wǎng)科學(xué)

例如用戶輸入一張?jiān)裼螒虻慕貓D，可以詢問(wèn)“當(dāng)前任務(wù)中的隊(duì)友是誰(shuí)？”，CogAgent 會(huì)給出相關(guān)的回答。

附上相關(guān)信息地址如下：

論文：https://arxiv.org/abs/2312.08914

Demo：Streamlit

代碼：https://github.com/THUDM/CogVLM

本文鏈接：http://www.www897cc.com/showinfo-45-3084-0.html清華大學(xué)合作推出看圖答題小能手 CogAgent：可告知《原神》游戲操作步驟等

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇：韓國(guó)首爾明年將啟用無(wú)人機(jī)及人工智能監(jiān)控交通狀況

下一篇：算力巨獸能耗驚人：英偉達(dá) H100 AI 芯片總耗電量將超歐洲小國(guó)

標(biāo)簽：

熱門(mén)焦點(diǎn)

刷完一場(chǎng)元宇宙世界杯音樂(lè)盛典，我爽了

作者|劉小土編輯|李春暉你有多久沒(méi)完整追過(guò)一場(chǎng)音樂(lè)盛典了？三刷都不嫌多的那種。按照慣例，每逢年底，直播、長(zhǎng)短視頻、音樂(lè)平臺(tái)便會(huì)搶著端上來(lái)幾場(chǎng)音樂(lè)盛典。擱以
關(guān)于年度熱詞NFT，除了錢(qián)，我們還可以聊點(diǎn)啥？

每到年底，社交媒體總少不了年度盤(pán)點(diǎn)、年度總結(jié)、年度熱詞。如果讓你來(lái)總結(jié)2021年度熱詞，你會(huì)想到什么？柯林斯詞典將年度熱詞頒給了“NFT”，而其理由是：一個(gè)縮寫(xiě)詞的
2022 區(qū)塊鏈 50 強(qiáng)榜單；垃圾NFT項(xiàng)目的十三個(gè)特性

本期關(guān)鍵字TerraZero在Decentraland完成元宇宙住房抵押貸款；騰訊發(fā)行齊白石畫(huà)作數(shù)字藏品；Ripple成為數(shù)字歐元協(xié)會(huì)成員；Gem上線稀有度排名功能；2022 區(qū)塊鏈 50 強(qiáng)榜
超級(jí)碗的加密時(shí)刻：是主流信號(hào)還是“網(wǎng)絡(luò)超級(jí)碗2.0”？

2 月 13 日，美東時(shí)間 18:30，有著“美國(guó)春晚”之譽(yù)的超級(jí)碗（Super Bowl）落下帷幕。超級(jí)碗是美國(guó)國(guó)家美式足球聯(lián)盟（也稱為國(guó)家橄欖球聯(lián)盟）的年度冠軍賽，勝者將成為“世
智能人機(jī)交互技術(shù)的春晚大考

1月初的一個(gè)早晨，京東智能客戶服務(wù)產(chǎn)品部緊急開(kāi)會(huì)，進(jìn)行關(guān)于尚未對(duì)外公布的“X項(xiàng)目”的初討論。1月5日，這個(gè)神秘的X項(xiàng)目對(duì)外公布，京東成為央視2022年春晚獨(dú)家互動(dòng)合
NFT藝術(shù)家Hayley Rincon 專訪：我的迷幻數(shù)字藝術(shù)之路

Hayley Rincon是一位令人印象深刻才華橫溢的創(chuàng)作者，她的作品呈現(xiàn)出迷幻的氣息。今天就來(lái)聊聊她的藝術(shù)作品，和她自己的數(shù)字藝術(shù)之路。Hayley是加利福尼亞灣區(qū)的有
對(duì)諷刺無(wú)動(dòng)于衷，Nori將碳市場(chǎng)放在區(qū)塊鏈上

當(dāng)我們聊氣候問(wèn)題的解決方案時(shí)，以太坊區(qū)塊鏈應(yīng)該不是最首想到的，但這正是Nori所選擇的方案，它建立了一個(gè)引擎，鼓勵(lì)農(nóng)民使用負(fù)碳耕作方法，將空氣中的碳抽出并放回地
MR——元宇宙平臺(tái)的下一代入口

作為“元宇宙”的領(lǐng)頭羊，Meta的一舉一動(dòng)都受到業(yè)內(nèi)的高度關(guān)注。華爾街見(jiàn)聞提及，2月17日周四，F(xiàn)acebook母公司Meta在透露，其混合現(xiàn)實(shí)技術(shù)（MR）將在幾年后實(shí)現(xiàn)，讓人們對(duì)元
3月份值得關(guān)注的5個(gè)NFT項(xiàng)目

2021年，我們見(jiàn)證了一個(gè)新的創(chuàng)造者經(jīng)濟(jì)的誕生。它是在區(qū)塊鏈上誕生的。自從NFT成為流行文化的中心舞臺(tái)以來(lái)，有些藝術(shù)家們已經(jīng)成為了NFT的超級(jí)明星，在幾個(gè)月的時(shí)間

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁(yè)

元宇宙

NFT

區(qū)塊鏈

虛擬人

AR/VR

AI

元宇宙百科

清華大學(xué)合作推出看圖答題小能手 CogAgent：可告知《原神》游戲操作步驟等

刷完一場(chǎng)元宇宙世界杯音樂(lè)盛典，我爽了

關(guān)于年度熱詞NFT，除了錢(qián)，我們還可以聊點(diǎn)啥？

2022 區(qū)塊鏈 50 強(qiáng)榜單；垃圾NFT項(xiàng)目的十三個(gè)特性

超級(jí)碗的加密時(shí)刻：是主流信號(hào)還是“網(wǎng)絡(luò)超級(jí)碗2.0”？

智能人機(jī)交互技術(shù)的春晚大考

NFT藝術(shù)家Hayley Rincon 專訪：我的迷幻數(shù)字藝術(shù)之路

對(duì)諷刺無(wú)動(dòng)于衷，Nori將碳市場(chǎng)放在區(qū)塊鏈上

MR——元宇宙平臺(tái)的下一代入口

3月份值得關(guān)注的5個(gè)NFT項(xiàng)目

最新推薦

內(nèi)容行業(yè)大變天，爆款全靠AI？

“啫喱”超越微信登頂：首款“元宇宙社交App”會(huì)曇花一現(xiàn)嗎？

上海虹口成立10億元元宇宙基金，香港首只元宇宙ETF擬上市

Shiba Inu布局元宇宙走出Meme局限

音樂(lè)家如何利用NFTs來(lái)提高歌迷參與度

2022年元宇宙系列報(bào)告：UGC當(dāng)?shù)溃琗R帶來(lái)新交互體驗(yàn)

猜你喜歡

熱門(mén)推薦

相關(guān)資訊