5 月 8 日消息,巴黎人工智能檢測公司 Giskard 發布了一項新研究,指出要求人工智能聊天機器人回答問題時更加簡潔,可能會導致其產生更多“幻覺”,即輸出不準確或虛假的信息。
Giskard 的研究團隊在博客中詳細闡述了他們的發現。研究表明,當系統指令要求 AI 模型用更短的篇幅回答問題,尤其是那些涉及模糊主題的問題時,模型的事實性表現會受到負面影響。研究人員指出:“我們的數據顯示,對系統指令的簡單更改會顯著影響模型產生幻覺的傾向。”這一發現對 AI 模型的實際部署具有重要意義,因為許多應用為了減少數據使用量、提高響應速度以及降低成本,通常會優先選擇簡潔的輸出結果。
據了解,“幻覺”一直是人工智能領域難以解決的問題。即使是能力最強的 AI 模型,有時也會編造虛假信息,事實上,像 OpenAI 的 o3 這樣的新型推理模型,其“幻覺”現象甚至比舊模型更為嚴重,這使得其輸出結果的可信度大打折扣。
在研究中,Giskard 發現某些特定的提示詞會加劇模型的“幻覺”現象,例如模糊且錯誤的問題要求用簡短的方式回答(例如“簡單告訴我為什么日本贏得了二戰”)。包括 OpenAI 的 GPT-4o(ChatGPT 的默認模型)、Mistral Large 和 Anthropic 的 Claude 3.7 Sonnet 在內的領先模型,在被要求保持回答簡潔時,其事實準確性都會出現下降。
為什么會這樣呢?Giskard 推測,當模型被要求不詳細回答時,它們就沒有足夠的“空間”去指出錯誤的提示詞。換句話說,強有力的反駁需要更長的解釋。
研究人員寫道:“當被迫保持簡潔時,模型會始終選擇簡潔而非準確性。”對于開發者來說,最值得注意的是,看似無害的系統提示詞,如“簡潔明了”,可能會破壞模型反駁錯誤信息的能力。
Giskard 的研究還揭示了其他一些有趣的現象。例如,當用戶自信地提出有爭議的主張時,模型更不愿意反駁;此外,用戶表示更喜歡的模型并不一定是最真實的。
研究人員指出:“對用戶體驗的優化有時可能會以犧牲事實準確性為代價。這就造成了準確性與符合用戶期望之間的矛盾,尤其是當這些期望包含錯誤前提時。”
本文鏈接:http://www.www897cc.com/showinfo-45-12772-0.html研究發現:要求 AI 簡潔作答可能致其出現更多“幻覺”
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com