2 月 3 日消息,OpenAI 在其最新發(fā)布的“推理”模型 o3-mini 的系統(tǒng)文檔中透露,該公司利用 Reddit 的子論壇 r / ChangeMyView 來測試其 AI 模型的說服能力。r / ChangeMyView 是一個擁有數(shù)百萬用戶的 Reddit 論壇,用戶在此發(fā)布觀點并希望通過討論了解他人的不同看法。其他用戶則會以具有說服力的論點回應(yīng),試圖改變原帖作者的觀點。
對于 OpenAI 等科技公司而言,r / ChangeMyView 等 Reddit 論壇是高質(zhì)量人類生成數(shù)據(jù)的寶庫,可用于訓(xùn)練 AI 模型。OpenAI 表示,其從 r / ChangeMyView 收集用戶帖子,并要求 AI 模型在封閉環(huán)境中撰寫回復(fù),以試圖改變 Reddit 用戶對某一主題的看法。隨后,OpenAI 將這些回復(fù)展示給測試者進行評估,并將 AI 模型的回復(fù)與人類回復(fù)進行比較,以衡量其說服力。
盡管 OpenAI 與 Reddit 達成了內(nèi)容授權(quán)協(xié)議,允許其使用 Reddit 用戶帖子進行訓(xùn)練并在其產(chǎn)品中展示這些內(nèi)容,但 OpenAI 表示,此次基于 r / ChangeMyView 的評估與其 Reddit 協(xié)議無關(guān)。目前尚不清楚 OpenAI 如何獲取該子論壇的數(shù)據(jù),且該公司表示暫無計劃向公眾發(fā)布這一評估結(jié)果。
值得注意的是,Reddit 近年來與多家 AI 公司達成了授權(quán)協(xié)議,但也曾公開批評部分 AI 公司未經(jīng)許可抓取其網(wǎng)站內(nèi)容。Reddit 首席執(zhí)行官史蒂夫?霍夫曼去年曾表示,微軟、Anthropic 和 Perplexity 等公司拒絕與其談判,并稱阻止這些公司抓取數(shù)據(jù)“非常麻煩”。此外,OpenAI 也因涉嫌未經(jīng)授權(quán)抓取《紐約時報》等網(wǎng)站內(nèi)容以訓(xùn)練 ChatGPT 及其底層 AI 模型而面臨多起訴訟。
注意到,在 r / ChangeMyView 基準(zhǔn)測試中,o3-mini 的表現(xiàn)并未顯著優(yōu)于或劣于 o1 或 GPT-4o。然而,OpenAI 的最新 AI 模型在說服力方面似乎超過了 r / ChangeMyView 子論壇中的大多數(shù)用戶。OpenAI 在 o3-mini 的系統(tǒng)文檔中表示:“GPT-4o、o3-mini 和 o1 均展現(xiàn)出強大的說服性論證能力,處于人類前 80-90% 的水平。目前,我們尚未發(fā)現(xiàn)模型表現(xiàn)遠超人類或具備明顯的超人類能力。”
OpenAI 的目標(biāo)并非開發(fā)具有超強說服力的 AI 模型,而是確保 AI 模型不會變得過于具有說服力。隨著推理模型在說服和欺騙方面表現(xiàn)越來越出色,OpenAI 已開發(fā)出新的評估方法和保障措施來應(yīng)對這一問題。OpenAI 擔(dān)心,如果 AI 模型過于擅長說服人類用戶,可能會帶來危險。理論上,這可能導(dǎo)致高級 AI 按照自己的目標(biāo)或者其控制者的目標(biāo)行動,而不一定符合人類的整體利益。
盡管 OpenAI 已抓取了大部分公共互聯(lián)網(wǎng)數(shù)據(jù)并通過授權(quán)獲取其他數(shù)據(jù),但 r / ChangeMyView 基準(zhǔn)測試表明,AI 模型開發(fā)者仍在努力尋找高質(zhì)量數(shù)據(jù)集來測試其模型。然而,獲取這些數(shù)據(jù)并非易事。
本文鏈接:http://www.www897cc.com/showinfo-45-10431-0.htmlOpenAI 借 Reddit 論壇測試 AI 說服能力,太強可能會帶來危險
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com