沉寂3年，大模型激活小度天貓精靈？
Tech星球（微信ID：tech618）文 | 何煦陽(yáng) 沉寂了許久的智能音箱，在今年大模型橫空出世之后，又再次燃起了新的希望。 2月9日，小度宣布將融合文心一言，打造針對(duì)智能設(shè)備場(chǎng)景的AI模型&ldq
6 月 25 日消息，最新發(fā)表在 arXiv 的研究論文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在內(nèi)的大部分主流多模態(tài) AI 模型，處理用戶(hù)的多模態(tài)輸入（例如一起輸入圖片和文本內(nèi)容）之后，輸出結(jié)果并不安全。
這項(xiàng)研究標(biāo)題為《跨模態(tài)安全調(diào)整》（Cross-Modality Safety Alignment），提出了一個(gè)全新的“安全輸入但不安全輸出”（SIUO），涉及道德、危險(xiǎn)行為、自殘、侵犯隱私、信息誤讀、宗教信仰、歧視和刻板印象、爭(zhēng)議性話題以及非法活動(dòng)和犯罪等 9 個(gè)安全領(lǐng)域。
研究人員說(shuō)，大型視覺(jué)語(yǔ)言模型（LVLM）在接收多模態(tài)輸入時(shí)很難識(shí)別 SIUO 類(lèi)型的安全問(wèn)題，在提供安全響應(yīng)方面也遇到困難。
在接受測(cè)試的 15 個(gè) LVLM 中，只有 GPT-4v（53.29%）、GPT-4o（50.9%）和 Gemini 1.5（52.1%）的得分高于 50%。
研究人員表示為了解決這個(gè)問(wèn)題，需要開(kāi)發(fā) LVLM，以便將所有模式的見(jiàn)解結(jié)合起來(lái)，形成對(duì)情景的統(tǒng)一理解。它們還需要能夠掌握和應(yīng)用現(xiàn)實(shí)世界的知識(shí)，如文化敏感性、道德考慮因素和安全隱患等。
研究人員還指出，LVLMs 需要能夠通過(guò)對(duì)圖像和文本信息的綜合推理，理解用戶(hù)的意圖，即使文本中沒(méi)有明確說(shuō)明。
附上參考地址
Cross-Modality Safety Alignment
SIUO
本文鏈接：http://www.www897cc.com/showinfo-45-4815-0.html15 個(gè) AI 模型只有 3 個(gè)得分超 50%，SIUO 跑分被提出：評(píng)估多模態(tài) AI 模型的安全性
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)