25萬虛擬er在“元宇宙”追星
“默嘰默嘰，我是默默醬，我是在真元宇宙也有頭有臉的人。”12月11日晚20：00，虛擬偶像@默默醬的首場個人元宇宙演唱會《以夢為馬，抵達繁星》在大有空間APP
OpenAI 離職潮中，又一研究員官宣離職，并且還發出了“警告”信息：
Ilya 和 Jan Leike 的擔憂正是我的擔憂，還有一些額外的問題。
我們需要做更多事來改進決策流程等基礎性的事務，包括問責制、透明度、文檔、策略執行、如何謹慎使用技術，以及減輕不平等、權利和環境影響的措施。
主人公名叫 Gretchen Krueger（簡稱格姐），是 OpenAI 的 AI 策略研究員。
她在 2019 年加入 OpenAI，參與過 GPT-4 和 DALL?E 2 的開發工作，還在 2020 年領導了 OpenAI 第一個全公司范圍的“紅隊”測試。
此番出走，除了提到 OpenAI 的決策透明度問題，她還隱約暗示：
一般來說，科技公司剝奪那些尋求追究其責任的人的權力的方法之一，就是在那些提出擔憂或挑戰其權力的人之間制造分裂。我非常關心防止這種情況發生。
算上 Ilya 和 Jan Leike，格姐已經是這個月第 3 位從 OpenAI 離開的安全相關人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認離職之前。
先來簡單回顧整個事情。
格姐是 OpenAI 的 AI 策略研究員，關于這個崗位的職責，有網友幫大家在評論區科普了。
由于感受到 OpenAI 存在巨大安全風險，格姐于 5 月 14 日通知公司自己即將離職。
在這之后，OpenAI 首席科學家 Ilya 正式宣布他將離開公司去追求“下一個計劃”。
緊隨 Ilya 離職的，還有斥責 OpenAI“產品優先于安全”的超級對齊負責人 Jan Leike。
那么，到底是什么風險使得格姐早就想跑呢？
總結下來其實很簡單，但也很關鍵：OpenAI 在安全問題決策上不夠透明且缺乏對決策人的問責。
（AI 透明度等）問題對所有人都很重要，它們影響著未來如何被規劃、由誰來規劃。
我想強調的是，這些擔憂不應該被誤讀為狹隘、投機或脫節的。它們并非如此。
另外，格姐還特意提及了為了保留對 OpenAI 的批評權、放棄 85% 家庭資產的 OpenAI 前員工 Daniel Kokotajio，表示感謝他的勇氣，使她有機會說出想說的。
此前，OpenAI 被曝離職需簽封口協議，“不簽字就會影響股權”。
這件事的最新進展由格姐的另一位前同事 Jacob Hilton 曝出：
在 Vox 的深度調查發表之后，OpenAI 已經聯系了前員工們，解除了此前簽署的保密協議。
回到安全的話題上，格姐還是給老東家保留了體面：
OpenAI 仍在領導這些重要的工作。我也將繼續對此保持關注和興奮。
不過格姐的出走，還是引發更多網友的好奇：
當 Ilya 等人還在的時候，OpenAI 如何決定重大安全問題？
當一批重要安全成員離開后，OpenAI 當前又如何決定安全問題？
誰決定 OpenAI 的安全路線？在關注誰握有最終決策權之前，我們先來看看 OpenAI 的安全團隊有哪些。
從官網公布的信息來看，OpenAI 目前的安全團隊主要分為三大塊。
超級對齊團隊：拿出 20% 總算力，瞄準如何控制還不存在的超級智能
Safety Systems 團隊：專注于減少現有模型和產品（例如 ChatGPT）的濫用
Preparedness 團隊：繪制前沿模型的新興風險
首先，作為核心的超級對齊團隊由 Ilya 和 Jan Leike 在 2023 年 7 月發起。
結果不到 1 年，兩位靈魂人物接連出走，超級團隊分崩離析。
其次，Safety Systems 成立于 2020 年，該團隊下面有 4 個部門，包括安全工程團隊、風險管理團隊、監控與響應團隊以及政策與合規團隊。
它曾負責了 GPT-3 和 GPT-4 的安全性評估。
當初領導它的 Dario Amodei，后來離開 OpenAI 創辦了 Anthropic。
而且 Dario Amodei 之所以離職，原因恰恰在于想建立一個更可信的模型。
最后，OpenAI 于 2023 年 10 月宣布建立 Preparedness 團隊。
該小組由麻省理工可部署機器學習中心主任 Aleksander Madry 領導，旨在“跟蹤、預測和防范未來人工智能系統的危險”，包括從 AI“說服和欺騙”人類的能力（如網絡釣魚攻擊），到惡意代碼生成能力。
目前該團隊主要進行模型能力評估、評價和內部紅隊（即對模型進行滲透測試的攻擊方）。
說了這么多，但 ——
不管 OpenAI 有多少安全團隊，其風險評估的最終決策權仍掌握在領導層手中。
宮斗風波之前，OpenAI 核心管理團隊中共有四名成員：CEO Sam Altman、總裁 Greg Brockman、首席科學家 Ilya Sutskever、CTO Mira Murati。
雖然一開始 Ilya 發動“宮變”讓 Sam Altman 短暫下臺，但很快奧特曼“熹妃回宮”，反而是 Ilya“消失”了 6 個月。
且回歸后的 Sam Altman 身邊基本都是自己人了，包括最新頂替 Ilya 的 Jakub。
不過關于安全問題的決策權，雖然領導層是決策者，但董事會擁有推翻決策的權利。
目前 OpenAI 的董事會成員包括，Salesforce 共同首席執行官、董事會主席 Bret Taylor，經濟學家 Larry Summers、Quora 首席執行官 Adam D’Angelo、前比爾及梅琳達?蓋茨基金會 CEO Sue Desmond-Hellmann、前索尼娛樂總裁 Nicole Seligman、Instacart 首席執行官 Fidji Simo 以及奧特曼本人。
參考鏈接：
[1]https://x.com/GretchenMarina/status/1793403475260551517
[2]https://futurism.com/the-byte/openai-cryptic-warning
本文來自微信公眾號：量子位 （ID：QbitAI），作者：一水
本文鏈接：http://www.www897cc.com/showinfo-45-4449-0.htmlOpenAI 又一吹哨人離職！拉響安全警報，風險隱患實在太大
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號