OpenAI 離職潮中,又一研究員官宣離職,并且還發出了“警告”信息:
Ilya 和 Jan Leike 的擔憂正是我的擔憂,還有一些額外的問題。
我們需要做更多事來改進決策流程等基礎性的事務,包括問責制、透明度、文檔、策略執行、如何謹慎使用技術,以及減輕不平等、權利和環境影響的措施。
主人公名叫 Gretchen Krueger(簡稱格姐),是 OpenAI 的 AI 策略研究員。
她在 2019 年加入 OpenAI,參與過 GPT-4 和 DALL?E 2 的開發工作,還在 2020 年領導了 OpenAI 第一個全公司范圍的“紅隊”測試。
此番出走,除了提到 OpenAI 的決策透明度問題,她還隱約暗示:
一般來說,科技公司剝奪那些尋求追究其責任的人的權力的方法之一,就是在那些提出擔憂或挑戰其權力的人之間制造分裂。我非常關心防止這種情況發生。
算上 Ilya 和 Jan Leike,格姐已經是這個月第 3 位從 OpenAI 離開的安全相關人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認離職之前。
先來簡單回顧整個事情。
格姐是 OpenAI 的 AI 策略研究員,關于這個崗位的職責,有網友幫大家在評論區科普了。
由于感受到 OpenAI 存在巨大安全風險,格姐于 5 月 14 日通知公司自己即將離職。
在這之后,OpenAI 首席科學家 Ilya 正式宣布他將離開公司去追求“下一個計劃”。
緊隨 Ilya 離職的,還有斥責 OpenAI“產品優先于安全”的超級對齊負責人 Jan Leike。
那么,到底是什么風險使得格姐早就想跑呢?
總結下來其實很簡單,但也很關鍵:OpenAI 在安全問題決策上不夠透明且缺乏對決策人的問責。
(AI 透明度等)問題對所有人都很重要,它們影響著未來如何被規劃、由誰來規劃。
我想強調的是,這些擔憂不應該被誤讀為狹隘、投機或脫節的。它們并非如此。
另外,格姐還特意提及了為了保留對 OpenAI 的批評權、放棄 85% 家庭資產的 OpenAI 前員工 Daniel Kokotajio,表示感謝他的勇氣,使她有機會說出想說的。
此前,OpenAI 被曝離職需簽封口協議,“不簽字就會影響股權”。
這件事的最新進展由格姐的另一位前同事 Jacob Hilton 曝出:
在 Vox 的深度調查發表之后,OpenAI 已經聯系了前員工們,解除了此前簽署的保密協議。
回到安全的話題上,格姐還是給老東家保留了體面:
OpenAI 仍在領導這些重要的工作。我也將繼續對此保持關注和興奮。
不過格姐的出走,還是引發更多網友的好奇:
當 Ilya 等人還在的時候,OpenAI 如何決定重大安全問題?
當一批重要安全成員離開后,OpenAI 當前又如何決定安全問題?
誰決定 OpenAI 的安全路線?在關注誰握有最終決策權之前,我們先來看看 OpenAI 的安全團隊有哪些。
從官網公布的信息來看,OpenAI 目前的安全團隊主要分為三大塊。
超級對齊團隊:拿出 20% 總算力,瞄準如何控制還不存在的超級智能
Safety Systems 團隊:專注于減少現有模型和產品(例如 ChatGPT)的濫用
Preparedness 團隊:繪制前沿模型的新興風險
首先,作為核心的超級對齊團隊由 Ilya 和 Jan Leike 在 2023 年 7 月發起。
結果不到 1 年,兩位靈魂人物接連出走,超級團隊分崩離析。
其次,Safety Systems 成立于 2020 年,該團隊下面有 4 個部門,包括安全工程團隊、風險管理團隊、監控與響應團隊以及政策與合規團隊。
它曾負責了 GPT-3 和 GPT-4 的安全性評估。
當初領導它的 Dario Amodei,后來離開 OpenAI 創辦了 Anthropic。
而且 Dario Amodei 之所以離職,原因恰恰在于想建立一個更可信的模型。
最后,OpenAI 于 2023 年 10 月宣布建立 Preparedness 團隊。
該小組由麻省理工可部署機器學習中心主任 Aleksander Madry 領導,旨在“跟蹤、預測和防范未來人工智能系統的危險”,包括從 AI“說服和欺騙”人類的能力(如網絡釣魚攻擊),到惡意代碼生成能力。
目前該團隊主要進行模型能力評估、評價和內部紅隊(即對模型進行滲透測試的攻擊方)。
說了這么多,但 ——
不管 OpenAI 有多少安全團隊,其風險評估的最終決策權仍掌握在領導層手中。
宮斗風波之前,OpenAI 核心管理團隊中共有四名成員:CEO Sam Altman、總裁 Greg Brockman、首席科學家 Ilya Sutskever、CTO Mira Murati。
雖然一開始 Ilya 發動“宮變”讓 Sam Altman 短暫下臺,但很快奧特曼“熹妃回宮”,反而是 Ilya“消失”了 6 個月。
且回歸后的 Sam Altman 身邊基本都是自己人了,包括最新頂替 Ilya 的 Jakub。
不過關于安全問題的決策權,雖然領導層是決策者,但董事會擁有推翻決策的權利。
目前 OpenAI 的董事會成員包括,Salesforce 共同首席執行官、董事會主席 Bret Taylor,經濟學家 Larry Summers、Quora 首席執行官 Adam D’Angelo、前比爾及梅琳達?蓋茨基金會 CEO Sue Desmond-Hellmann、前索尼娛樂總裁 Nicole Seligman、Instacart 首席執行官 Fidji Simo 以及奧特曼本人。
參考鏈接:
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文來自微信公眾號:量子位 (ID:QbitAI),作者:一水
本文鏈接:http://www.www897cc.com/showinfo-45-4449-0.htmlOpenAI 又一吹哨人離職!拉響安全警報,風險隱患實在太大
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com