日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

OpenAI 又一吹哨人離職!拉響安全警報,風險隱患實在太大

來源: 責編: 時間:2024-05-29 08:50:10 180觀看
導讀 OpenAI 離職潮中,又一研究員官宣離職,并且還發出了“警告”信息:Ilya 和 Jan Leike 的擔憂正是我的擔憂,還有一些額外的問題。我們需要做更多事來改進決策流程等基礎性的事務,包括問責制、透明度、文檔、策略執行

OpenAI 離職潮中,又一研究員官宣離職,并且還發出了“警告”信息:1iD28資訊網——每日最新資訊28at.com

Ilya 和 Jan Leike 的擔憂正是我的擔憂,還有一些額外的問題。1iD28資訊網——每日最新資訊28at.com

我們需要做更多事來改進決策流程等基礎性的事務,包括問責制、透明度、文檔、策略執行、如何謹慎使用技術,以及減輕不平等、權利和環境影響的措施。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

主人公名叫 Gretchen Krueger(簡稱格姐),是 OpenAI 的 AI 策略研究員。1iD28資訊網——每日最新資訊28at.com

她在 2019 年加入 OpenAI,參與過 GPT-4 和 DALL?E 2 的開發工作,還在 2020 年領導了 OpenAI 第一個全公司范圍的“紅隊”測試。1iD28資訊網——每日最新資訊28at.com

此番出走,除了提到 OpenAI 的決策透明度問題,她還隱約暗示:1iD28資訊網——每日最新資訊28at.com

一般來說,科技公司剝奪那些尋求追究其責任的人的權力的方法之一,就是在那些提出擔憂或挑戰其權力的人之間制造分裂。我非常關心防止這種情況發生。1iD28資訊網——每日最新資訊28at.com

算上 Ilya 和 Jan Leike,格姐已經是這個月第 3 位從 OpenAI 離開的安全相關人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認離職之前。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

本月第 3 位離職的 OpenAI 安全成員

先來簡單回顧整個事情。1iD28資訊網——每日最新資訊28at.com

格姐是 OpenAI 的 AI 策略研究員,關于這個崗位的職責,有網友幫大家在評論區科普了。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

由于感受到 OpenAI 存在巨大安全風險,格姐于 5 月 14 日通知公司自己即將離職。1iD28資訊網——每日最新資訊28at.com

在這之后,OpenAI 首席科學家 Ilya 正式宣布他將離開公司去追求“下一個計劃”。1iD28資訊網——每日最新資訊28at.com

緊隨 Ilya 離職的,還有斥責 OpenAI“產品優先于安全”的超級對齊負責人 Jan Leike。1iD28資訊網——每日最新資訊28at.com

那么,到底是什么風險使得格姐早就想跑呢?1iD28資訊網——每日最新資訊28at.com

總結下來其實很簡單,但也很關鍵:OpenAI 在安全問題決策上不夠透明且缺乏對決策人的問責。1iD28資訊網——每日最新資訊28at.com

(AI 透明度等)問題對所有人都很重要,它們影響著未來如何被規劃、由誰來規劃。1iD28資訊網——每日最新資訊28at.com

我想強調的是,這些擔憂不應該被誤讀為狹隘、投機或脫節的。它們并非如此。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

另外,格姐還特意提及了為了保留對 OpenAI 的批評權、放棄 85% 家庭資產的 OpenAI 前員工 Daniel Kokotajio,表示感謝他的勇氣,使她有機會說出想說的。1iD28資訊網——每日最新資訊28at.com

此前,OpenAI 被曝離職需簽封口協議,“不簽字就會影響股權”。1iD28資訊網——每日最新資訊28at.com

這件事的最新進展由格姐的另一位前同事 Jacob Hilton 曝出:1iD28資訊網——每日最新資訊28at.com

在 Vox 的深度調查發表之后,OpenAI 已經聯系了前員工們,解除了此前簽署的保密協議。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

回到安全的話題上,格姐還是給老東家保留了體面:1iD28資訊網——每日最新資訊28at.com

OpenAI 仍在領導這些重要的工作。我也將繼續對此保持關注和興奮。1iD28資訊網——每日最新資訊28at.com

不過格姐的出走,還是引發更多網友的好奇:1iD28資訊網——每日最新資訊28at.com

當 Ilya 等人還在的時候,OpenAI 如何決定重大安全問題?1iD28資訊網——每日最新資訊28at.com

當一批重要安全成員離開后,OpenAI 當前又如何決定安全問題?1iD28資訊網——每日最新資訊28at.com

誰決定 OpenAI 的安全路線?

在關注誰握有最終決策權之前,我們先來看看 OpenAI 的安全團隊有哪些。1iD28資訊網——每日最新資訊28at.com

從官網公布的信息來看,OpenAI 目前的安全團隊主要分為三大塊。1iD28資訊網——每日最新資訊28at.com

超級對齊團隊:拿出 20% 總算力,瞄準如何控制還不存在的超級智能1iD28資訊網——每日最新資訊28at.com

Safety Systems 團隊:專注于減少現有模型和產品(例如 ChatGPT)的濫用1iD28資訊網——每日最新資訊28at.com

Preparedness 團隊:繪制前沿模型的新興風險1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

首先,作為核心的超級對齊團隊由 Ilya 和 Jan Leike 在 2023 年 7 月發起。1iD28資訊網——每日最新資訊28at.com

結果不到 1 年,兩位靈魂人物接連出走,超級團隊分崩離析。1iD28資訊網——每日最新資訊28at.com

其次,Safety Systems 成立于 2020 年,該團隊下面有 4 個部門,包括安全工程團隊、風險管理團隊、監控與響應團隊以及政策與合規團隊。1iD28資訊網——每日最新資訊28at.com

它曾負責了 GPT-3 和 GPT-4 的安全性評估。1iD28資訊網——每日最新資訊28at.com

當初領導它的 Dario Amodei,后來離開 OpenAI 創辦了 Anthropic。1iD28資訊網——每日最新資訊28at.com

而且 Dario Amodei 之所以離職,原因恰恰在于想建立一個更可信的模型。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

最后,OpenAI 于 2023 年 10 月宣布建立 Preparedness 團隊。1iD28資訊網——每日最新資訊28at.com

該小組由麻省理工可部署機器學習中心主任 Aleksander Madry 領導,旨在“跟蹤、預測和防范未來人工智能系統的危險”,包括從 AI“說服和欺騙”人類的能力(如網絡釣魚攻擊),到惡意代碼生成能力。1iD28資訊網——每日最新資訊28at.com

目前該團隊主要進行模型能力評估、評價和內部紅隊(即對模型進行滲透測試的攻擊方)。1iD28資訊網——每日最新資訊28at.com

說了這么多,但 ——1iD28資訊網——每日最新資訊28at.com

不管 OpenAI 有多少安全團隊,其風險評估的最終決策權仍掌握在領導層手中。1iD28資訊網——每日最新資訊28at.com

宮斗風波之前,OpenAI 核心管理團隊中共有四名成員:CEO Sam Altman、總裁 Greg Brockman、首席科學家 Ilya Sutskever、CTO Mira Murati。1iD28資訊網——每日最新資訊28at.com

雖然一開始 Ilya 發動“宮變”讓 Sam Altman 短暫下臺,但很快奧特曼“熹妃回宮”,反而是 Ilya“消失”了 6 個月。1iD28資訊網——每日最新資訊28at.com

且回歸后的 Sam Altman 身邊基本都是自己人了,包括最新頂替 Ilya 的 Jakub。1iD28資訊網——每日最新資訊28at.com

1iD28資訊網——每日最新資訊28at.com

不過關于安全問題的決策權,雖然領導層是決策者,但董事會擁有推翻決策的權利。1iD28資訊網——每日最新資訊28at.com

目前 OpenAI 的董事會成員包括,Salesforce 共同首席執行官、董事會主席 Bret Taylor,經濟學家 Larry Summers、Quora 首席執行官 Adam D’Angelo、前比爾及梅琳達?蓋茨基金會 CEO Sue Desmond-Hellmann、前索尼娛樂總裁 Nicole Seligman、Instacart 首席執行官 Fidji Simo 以及奧特曼本人。1iD28資訊網——每日最新資訊28at.com

參考鏈接:1iD28資訊網——每日最新資訊28at.com

[1]https://x.com/GretchenMarina/status/17934034752605515171iD28資訊網——每日最新資訊28at.com

[2]https://futurism.com/the-byte/openai-cryptic-warning1iD28資訊網——每日最新資訊28at.com

本文來自微信公眾號:量子位 (ID:QbitAI),作者:一水1iD28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4449-0.htmlOpenAI 又一吹哨人離職!拉響安全警報,風險隱患實在太大

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 長城汽車語音大模型小魏同學將開啟 OTA,支持事件即時匯總整理

下一篇: 現有最大 GPU 集群 4 倍規模!馬斯克擬打造 xAI “算力超級工廠”,數萬個專用芯片組成巨型超算

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 德兴市| 宁津县| 汽车| 肃南| 高阳县| 商南县| 墨竹工卡县| 海淀区| 札达县| 永德县| 文成县| 昌都县| 江都市| 鄂州市| 龙胜| 扎兰屯市| 富锦市| 信丰县| 石河子市| 伊川县| 南昌市| 获嘉县| 金山区| 滨州市| 南阳市| 黄骅市| 惠来县| 厦门市| 舞钢市| 商南县| 盐城市| 锡林浩特市| 辛集市| 西城区| 漯河市| 饶平县| 兴安盟| 翁源县| 龙井市| 兴海县| 太湖县|