直屏旗艦來了 iQOO 12和K70 Pro同臺競技
旗艦機(jī)基本上使用的都是雙曲面屏幕，這就讓很多喜歡直屏的愛好者在苦等一款直屏旗艦，這次，你們等到了。據(jù)博主數(shù)碼閑聊站帶來的最新爆料稱，Redmi下代旗艦K70 Pro和iQOO 12兩款手
AI玩黑神話，第一個精英怪牯護(hù)院輕松拿捏啊。
有方向感，視角也沒有問題。
躲閃劈棍很絲滑。
甚至在打鴉香客和牯護(hù)院時，AI的勝率已經(jīng)超過人類。
而且是完全使用大模型玩，沒有使用強(qiáng)化學(xué)習(xí)。
阿里巴巴的研究人員們提出了一個新型VARP（視覺動作角色扮演）智能體框架。
它能直接將游戲截圖作為輸入，通過視覺語言模型推理，終生成Python代碼形式的動作，以此來操作游戲。
以玩《黑神話·悟空》為例，該智能體在90%簡單和中等水平戰(zhàn)斗場景中取勝。
GPT-4o、Claude 3.5都來迎戰(zhàn)研究人員以《黑神話·悟空》為研究平臺，一共定義了12個任務(wù)，75%與戰(zhàn)斗有關(guān)。
他們構(gòu)建了一個人類操作數(shù)據(jù)集，包含鍵鼠操作和游戲截圖，一共1000條有效數(shù)據(jù)。
每個操作都是由原子命令的各種組合組成的序列。原子命令包括輕攻、閃避、重攻擊、回血等。
然后，他們提出了VARP智能體框架。
主要包含動作規(guī)劃系統(tǒng)和人類引導(dǎo)軌跡系統(tǒng)。
其中動作規(guī)劃系統(tǒng)由情境庫、動作庫和人類引導(dǎo)庫組成，利用 VLMs 進(jìn)行動作推理和生成，引入分解特定任務(wù)的輔助模塊和自我優(yōu)化的動作生成模塊。
人類引導(dǎo)軌跡系統(tǒng)利用人類操作數(shù)據(jù)改進(jìn)智能體性能，對于困難任務(wù)，通過查詢?nèi)祟愐龑?dǎo)庫獲取相似截圖和操作，生成新的人類引導(dǎo)動作。
同時VARP還包含3個庫：情景庫、動作庫和人工引導(dǎo)庫。
這些庫中存儲了agent自我學(xué)習(xí)和人類指導(dǎo)的內(nèi)容，可以進(jìn)行檢索和更新。
動作庫中，“def new_func_a()”表示動作計(jì)劃系統(tǒng)生成的新動作，“def new_func_h()”表示人導(dǎo)軌跡系統(tǒng)生成的動作。”def pre_func()”代表預(yù)定義的動作。
動作案例研究和相應(yīng)的游戲截圖。第一行和第二行中的操作是預(yù)定義的函數(shù)。第三行動作由人工制導(dǎo)軌跡系統(tǒng)生成。
SOAG會在玩家角色與敵人的每次戰(zhàn)斗互動后總結(jié)第四行和第五行中的新動作，并將其存儲在動作庫中。
框架分別使用了GPT-4o（2024-0513版本）、Claude 3.5 Sonnet和Gemini 1.5 Pro。
對比人類和AI的表現(xiàn)結(jié)果，可以看到小怪部分AI們的表現(xiàn)達(dá)到人類玩家水平。
到了牯護(hù)院時，Claude 3.5 Sonnet敗下陣來，GPT-4o勝率高。
但是對于新手玩家普遍頭疼的幽魂，AI們也都束手無策了。
另外研究還提到，由于VLMs推理速度受到限制，是無法實(shí)時輸入每一幀畫面的。
它只能間隔輸入關(guān)鍵幀，這也會導(dǎo)致AI在一些情況下錯過boss攻擊的關(guān)鍵信息。
以及由于游戲中沒有明確的道路引導(dǎo)且存在很多空氣墻，在沒有人類引導(dǎo)下，智能體也不能自己找到正確的路線。
如上研究來自阿里團(tuán)隊(duì)，一共有5位作者。
后續(xù)相關(guān)代碼和數(shù)據(jù)集有發(fā)布計(jì)劃，感興趣的童鞋可以蹲下。
One More Thing
AI打游戲并不是一個新鮮事了，比如AI基于強(qiáng)化學(xué)習(xí)方法打《星際爭霸II》已經(jīng)可以擊敗人類職業(yè)高手。
利用強(qiáng)化學(xué)習(xí)方案，往往需要輸入大量對局。
商湯此前訓(xùn)練的DI-star（監(jiān)督學(xué)習(xí)+強(qiáng)化學(xué)習(xí)），就用了“16萬場錄像”和“1億局對戰(zhàn)”。
但是純大模型也能打游戲，還是很出乎意料的。在本項(xiàng)研究中，數(shù)據(jù)集中的有效數(shù)據(jù)為1000條。
論文地址：https://arxiv.org/abs/2409.12889
項(xiàng)目地址：https://varp-agent.github.io/
本文鏈接：http://www.www897cc.com/showinfo-17-115181-0.htmlGPT-4o AI不學(xué)習(xí)就能玩《黑神話：悟空》！精英怪勝率超人類
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號