6 月 24 日消息,近年來,人工智能蓬勃發(fā)展,聊天機(jī)器人等應(yīng)用逐漸普及,人們可以通過簡單的指令從這些聊天機(jī)器人(例如 ChatGPT)獲取信息。然而,這些聊天機(jī)器人仍然容易出現(xiàn)“幻覺”問題,即提供錯(cuò)誤的答案,有時(shí)甚至是危險(xiǎn)的信息。
造成“幻覺”的原因之一是訓(xùn)練數(shù)據(jù)不準(zhǔn)確、泛化能力不足以及數(shù)據(jù)采集過程中的副作用。不過,牛津大學(xué)的研究人員另辟蹊徑,在最新出版的《自然》雜志上詳細(xì)介紹了一種他們新開發(fā)的方法,用于檢測大型語言模型 (LLMs) 的“捏造” (即任意生成的不正確信息) 問題。
LLM 通過在訓(xùn)練數(shù)據(jù)中尋找特定模式來生成答案。但這種方法并非總是奏效,就像人類能從云朵形狀中看到動(dòng)物一樣,AI 機(jī)器人也可能找到并不存在的模式。然而,人類知道云朵只是形狀而已,天上并沒有漂浮的巨型大象。LLM 則可能將此視為真實(shí)的,從而“捏造”出并不存在的新科技和其他虛假信息。
牛津大學(xué)的研究人員利用語義熵的概念,通過概率來判斷 LLM 是否出現(xiàn)“幻覺”。語義熵指的是同一個(gè)詞語擁有多種含義的情況,例如,“desert”可以指沙漠,也可以表示拋棄某人。當(dāng) LLM 使用這類詞語時(shí),可能會(huì)對(duì)表達(dá)的含義感到困惑。通過檢測語義熵,研究人員旨在判斷 LLM 的輸出內(nèi)容是否存在“幻覺”的可能。
利用語義熵的優(yōu)勢(shì)在于無需額外的監(jiān)督或強(qiáng)化學(xué)習(xí),即可快速檢測 LLM 的“幻覺”問題。由于該方法不依賴于特定任務(wù)的數(shù)據(jù),因此即使 LLM 面臨從未遇到過的新任務(wù),也能加以應(yīng)用。這將大大提升用戶對(duì)于 LLM 的信任感,即使是 AI 首次遇到某個(gè)問題或指令。
研究團(tuán)隊(duì)表示:“我們的方法可以幫助用戶理解何時(shí)需要對(duì) LLM 的輸出保持謹(jǐn)慎,并為原本因不可靠性而受限的 LLM 應(yīng)用開辟了新天地。”
如果語義熵被證明是一種有效的“幻覺”檢測手段,那么我們可以利用這類工具對(duì)人工智能的輸出進(jìn)行雙重校驗(yàn),使其成為更加可靠的伙伴。不過需要提醒的是,就像人類并非無懈可擊一樣,即使配備了最先進(jìn)的錯(cuò)誤檢測工具,LLM 也仍然可能出錯(cuò)。因此,始終對(duì) ChatGPT 等聊天機(jī)器人提供的答案進(jìn)行仔細(xì)核查仍然是明智之舉。
本文鏈接:http://www.www897cc.com/showinfo-45-4770-0.html聊天機(jī)器人胡說八道?牛津研究人員利用語義熵來識(shí)破 AI“幻覺”
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 五糧液濃香酒:勞動(dòng)節(jié)送禮的精致藝術(shù)
下一篇: 沒有授權(quán)也沒關(guān)系?多家 AI 公司被曝繞過網(wǎng)絡(luò)標(biāo)準(zhǔn)抓取新聞出版商網(wǎng)站內(nèi)容