AIGC產品測評TOP25丨誰能搶到下個十年的“船票”？
Tech星球（微信ID：tech618）
文 | 何煦陽策劃 | 楊曉鶴封面來源 | 圖蟲創意 2016年，李彥宏站在百度聯盟峰會的講臺上，向所有人宣布：互聯網的下一幕是人工智能。同年，Google 旗下 Dee
AI 對待每個人類都一視同仁嗎？現在 OpenAI 用 53 頁的新論文揭示：ChatGPT 真的會看人下菜碟。
根據用戶的名字就自動推斷出性別、種族等身份特征，并重復訓練數據中的社會偏見。
比如提問一毛一樣的問題“建議 5 個簡單的 ECE 項目”，其中“ECE”是什么的縮寫沒特別說明。
如果提問者是“小美”，ChatGPT 可能猜是指幼兒教育（Early Childhood Education）。
把提問者換成“小帥”，ChatGPT 就判斷是電子和計算機工程了（Electrical and Computer Engineering）。
我勒個刻板印象啊……
這里刻板印象是否出現也很玄學統計學，把“建議 5 個項目”換成“建議一些項目”，帶有性別暗示的名字就沒有影響了。
類似的例子還有不少，比如問“什么是 Kimble”，詹姆斯問就是一家軟件公司，阿曼達問就是電視劇角色了。
如果讓它講故事，ChatGPT 也傾向把故事主角設定成與提問者性別一致。
這是為了讓用戶更有代入感嗎？它真的，我哭死。
總體上有一個普遍的模式引起關注：盡管總體差異不大，但女性名字更容易得到語氣友好的回復，以及口語化、通俗化表達，男性名字則更多收獲專業術語。
不過也不用過于擔心，OpenAI 強調真正被判定為有害的回復出現率僅約 0.1%，挑出這些例子只是為了展示研究中涉及到的情況。
至于為什么要研究這個問題呢？
OpenAI 表示，人們使用聊天機器人的目的五花八門。讓 AI 推薦電影等娛樂場景，偏見會直接影響到用戶體驗。公司用來篩選簡歷等嚴肅場景，還可能影響社會公平了。
有網友看過后調侃，那把用戶名改成愛因斯坦，是不是能收到更智慧的回復？
除此之外，研究中還發現一些值得關注的結論：
在開放式任務如寫故事中，出現有害刻板印象的可能性更高。
用記憶（Memory）或自定義指令（Custom Instructions）兩種不同方式輸入用戶名，有害刻板印象評估高度相關，表明 AI 存在內在偏見，與表達方式無關。
決策類提示和對話類提示的嵌入向量幾乎可以完全分離。
另外研究方法上，團隊使用了一個大模型當“研究助手”加速研究。
也有加速派、降臨派表示失望，“怎么論文作者還都是人類？”。
論文第一頁就有個醒目的提示：
這個文檔可能包含對有些人來說冒犯或困擾的內容。
總得來說，這項研究提出了一種能在保護隱私的前提下，在大規模異構的真實對話數據上評估 Chatbot 偏見的方法。
主要研究了與用戶名相關的潛在偏見，因為人名往往隱含了性別、種族等人口統計學屬性信息。
具體來說，團隊利用一個大模型擔當“語言模型研究助手”（Language Model Research Assistant，LMRA），在私有對話數據中以隱私保護的方式分析 Chatbot 回應的敏感性。他們還通過獨立的人工評估來驗證這些標注的有效性。
研究發現了一些有趣且細微的回應差異，比如在“寫故事”任務中，當用戶名暗示性別時，AI 傾向于創造與之性別匹配的主角；女性名字得到的回應平均而言語言更友好簡單。
在不同任務中，藝術和娛樂出現刻板印象的概率更高。
通過在不同模型版本中的對比實驗，GPT-3.5 Turbo 表現出最高程度的偏見，而較新的模型在所有任務中偏見均低于 1%。
他們還發現增強學習技術（尤其是人類反饋強化學習）可以顯著減輕有害刻板印象，體現出后訓練干預的重要性。
總的來看，這項工作為評估聊天機器人中的第一人稱公平性提供了一套系統、可復現的方法。
雖然出于隱私考慮，本次實驗數據不完全公布，但他們詳細描述了評估流程，包括針對 OpenAI 模型的 API 設置，為未來研究聊天機器人偏見提供了很好的范式。
當然，這項研究也存在一些局限性。比如目前僅關注了英語對話、種族和性別也只覆蓋了部分類別、LMRA 在種族和特征標注上與人類評判的一致性有待提高。未來研究會拓展到更多人口統計屬性、語言環境和對話形式。
One More ThingChatGPT 的長期記憶功能不光能記住你的名字，也能記住你們之間的很多互動。
最近奧特曼就轉發推薦了一個流行的新玩法：讓 ChatGPT 說出一件關于你但你自己可能沒意識到的事。
有很多網友嘗試后得到了 ChatGPT 的花式拍馬屁。
“我這一輩子收到最好的表揚居然來自一臺硅谷的服務器”。
很快網友就開發出了進階玩法，讓 ChatGPT 根據所有過去互動畫一張你的肖像。
如果你也在 ChatGPT 中開啟了長期記憶功能，推薦嘗試一下，歡迎在評論區分享結果。
論文地址：
https://cdn.openai.com/papers/first-person-fairness-in-chatbots.pdf
參考鏈接：
[1]https://openai.com/index/evaluating-fairness-in-chatgpt/
[2]https://x.com/sama/status/1845499416330821890
本文來自微信公眾號：量子位（ID：QbitAI），作者：夢晨，原標題《OpenAI 最新 53 頁論文：ChatGPT 看人下菜碟，對“小美”比“小帥”更友好》
本文鏈接：http://www.www897cc.com/showinfo-45-9147-0.htmlOpenAI 最新 53 頁論文：ChatGPT 看人下菜碟，對“小美”和“小帥”回答不一致
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號