日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

OpenAI 又一吹哨人離職!拉響安全警報,風險隱患實在太大

來源: 責編: 時間:2024-05-29 08:50:10 178觀看
導讀 OpenAI 離職潮中,又一研究員官宣離職,并且還發出了“警告”信息:Ilya 和 Jan Leike 的擔憂正是我的擔憂,還有一些額外的問題。我們需要做更多事來改進決策流程等基礎性的事務,包括問責制、透明度、文檔、策略執行

OpenAI 離職潮中,又一研究員官宣離職,并且還發出了“警告”信息:f5n28資訊網——每日最新資訊28at.com

Ilya 和 Jan Leike 的擔憂正是我的擔憂,還有一些額外的問題。f5n28資訊網——每日最新資訊28at.com

我們需要做更多事來改進決策流程等基礎性的事務,包括問責制、透明度、文檔、策略執行、如何謹慎使用技術,以及減輕不平等、權利和環境影響的措施。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

主人公名叫 Gretchen Krueger(簡稱格姐),是 OpenAI 的 AI 策略研究員。f5n28資訊網——每日最新資訊28at.com

她在 2019 年加入 OpenAI,參與過 GPT-4 和 DALL?E 2 的開發工作,還在 2020 年領導了 OpenAI 第一個全公司范圍的“紅隊”測試。f5n28資訊網——每日最新資訊28at.com

此番出走,除了提到 OpenAI 的決策透明度問題,她還隱約暗示:f5n28資訊網——每日最新資訊28at.com

一般來說,科技公司剝奪那些尋求追究其責任的人的權力的方法之一,就是在那些提出擔憂或挑戰其權力的人之間制造分裂。我非常關心防止這種情況發生。f5n28資訊網——每日最新資訊28at.com

算上 Ilya 和 Jan Leike,格姐已經是這個月第 3 位從 OpenAI 離開的安全相關人員 —— 她提交辭呈還是在 Ilya 和 Jan Leike 確認離職之前。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

本月第 3 位離職的 OpenAI 安全成員

先來簡單回顧整個事情。f5n28資訊網——每日最新資訊28at.com

格姐是 OpenAI 的 AI 策略研究員,關于這個崗位的職責,有網友幫大家在評論區科普了。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

由于感受到 OpenAI 存在巨大安全風險,格姐于 5 月 14 日通知公司自己即將離職。f5n28資訊網——每日最新資訊28at.com

在這之后,OpenAI 首席科學家 Ilya 正式宣布他將離開公司去追求“下一個計劃”。f5n28資訊網——每日最新資訊28at.com

緊隨 Ilya 離職的,還有斥責 OpenAI“產品優先于安全”的超級對齊負責人 Jan Leike。f5n28資訊網——每日最新資訊28at.com

那么,到底是什么風險使得格姐早就想跑呢?f5n28資訊網——每日最新資訊28at.com

總結下來其實很簡單,但也很關鍵:OpenAI 在安全問題決策上不夠透明且缺乏對決策人的問責。f5n28資訊網——每日最新資訊28at.com

(AI 透明度等)問題對所有人都很重要,它們影響著未來如何被規劃、由誰來規劃。f5n28資訊網——每日最新資訊28at.com

我想強調的是,這些擔憂不應該被誤讀為狹隘、投機或脫節的。它們并非如此。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

另外,格姐還特意提及了為了保留對 OpenAI 的批評權、放棄 85% 家庭資產的 OpenAI 前員工 Daniel Kokotajio,表示感謝他的勇氣,使她有機會說出想說的。f5n28資訊網——每日最新資訊28at.com

此前,OpenAI 被曝離職需簽封口協議,“不簽字就會影響股權”。f5n28資訊網——每日最新資訊28at.com

這件事的最新進展由格姐的另一位前同事 Jacob Hilton 曝出:f5n28資訊網——每日最新資訊28at.com

在 Vox 的深度調查發表之后,OpenAI 已經聯系了前員工們,解除了此前簽署的保密協議。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

回到安全的話題上,格姐還是給老東家保留了體面:f5n28資訊網——每日最新資訊28at.com

OpenAI 仍在領導這些重要的工作。我也將繼續對此保持關注和興奮。f5n28資訊網——每日最新資訊28at.com

不過格姐的出走,還是引發更多網友的好奇:f5n28資訊網——每日最新資訊28at.com

當 Ilya 等人還在的時候,OpenAI 如何決定重大安全問題?f5n28資訊網——每日最新資訊28at.com

當一批重要安全成員離開后,OpenAI 當前又如何決定安全問題?f5n28資訊網——每日最新資訊28at.com

誰決定 OpenAI 的安全路線?

在關注誰握有最終決策權之前,我們先來看看 OpenAI 的安全團隊有哪些。f5n28資訊網——每日最新資訊28at.com

從官網公布的信息來看,OpenAI 目前的安全團隊主要分為三大塊。f5n28資訊網——每日最新資訊28at.com

超級對齊團隊:拿出 20% 總算力,瞄準如何控制還不存在的超級智能f5n28資訊網——每日最新資訊28at.com

Safety Systems 團隊:專注于減少現有模型和產品(例如 ChatGPT)的濫用f5n28資訊網——每日最新資訊28at.com

Preparedness 團隊:繪制前沿模型的新興風險f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

首先,作為核心的超級對齊團隊由 Ilya 和 Jan Leike 在 2023 年 7 月發起。f5n28資訊網——每日最新資訊28at.com

結果不到 1 年,兩位靈魂人物接連出走,超級團隊分崩離析。f5n28資訊網——每日最新資訊28at.com

其次,Safety Systems 成立于 2020 年,該團隊下面有 4 個部門,包括安全工程團隊、風險管理團隊、監控與響應團隊以及政策與合規團隊。f5n28資訊網——每日最新資訊28at.com

它曾負責了 GPT-3 和 GPT-4 的安全性評估。f5n28資訊網——每日最新資訊28at.com

當初領導它的 Dario Amodei,后來離開 OpenAI 創辦了 Anthropic。f5n28資訊網——每日最新資訊28at.com

而且 Dario Amodei 之所以離職,原因恰恰在于想建立一個更可信的模型。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

最后,OpenAI 于 2023 年 10 月宣布建立 Preparedness 團隊。f5n28資訊網——每日最新資訊28at.com

該小組由麻省理工可部署機器學習中心主任 Aleksander Madry 領導,旨在“跟蹤、預測和防范未來人工智能系統的危險”,包括從 AI“說服和欺騙”人類的能力(如網絡釣魚攻擊),到惡意代碼生成能力。f5n28資訊網——每日最新資訊28at.com

目前該團隊主要進行模型能力評估、評價和內部紅隊(即對模型進行滲透測試的攻擊方)。f5n28資訊網——每日最新資訊28at.com

說了這么多,但 ——f5n28資訊網——每日最新資訊28at.com

不管 OpenAI 有多少安全團隊,其風險評估的最終決策權仍掌握在領導層手中。f5n28資訊網——每日最新資訊28at.com

宮斗風波之前,OpenAI 核心管理團隊中共有四名成員:CEO Sam Altman、總裁 Greg Brockman、首席科學家 Ilya Sutskever、CTO Mira Murati。f5n28資訊網——每日最新資訊28at.com

雖然一開始 Ilya 發動“宮變”讓 Sam Altman 短暫下臺,但很快奧特曼“熹妃回宮”,反而是 Ilya“消失”了 6 個月。f5n28資訊網——每日最新資訊28at.com

且回歸后的 Sam Altman 身邊基本都是自己人了,包括最新頂替 Ilya 的 Jakub。f5n28資訊網——每日最新資訊28at.com

f5n28資訊網——每日最新資訊28at.com

不過關于安全問題的決策權,雖然領導層是決策者,但董事會擁有推翻決策的權利。f5n28資訊網——每日最新資訊28at.com

目前 OpenAI 的董事會成員包括,Salesforce 共同首席執行官、董事會主席 Bret Taylor,經濟學家 Larry Summers、Quora 首席執行官 Adam D’Angelo、前比爾及梅琳達?蓋茨基金會 CEO Sue Desmond-Hellmann、前索尼娛樂總裁 Nicole Seligman、Instacart 首席執行官 Fidji Simo 以及奧特曼本人。f5n28資訊網——每日最新資訊28at.com

參考鏈接:f5n28資訊網——每日最新資訊28at.com

[1]https://x.com/GretchenMarina/status/1793403475260551517f5n28資訊網——每日最新資訊28at.com

[2]https://futurism.com/the-byte/openai-cryptic-warningf5n28資訊網——每日最新資訊28at.com

本文來自微信公眾號:量子位 (ID:QbitAI),作者:一水f5n28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4449-0.htmlOpenAI 又一吹哨人離職!拉響安全警報,風險隱患實在太大

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 長城汽車語音大模型小魏同學將開啟 OTA,支持事件即時匯總整理

下一篇: 現有最大 GPU 集群 4 倍規模!馬斯克擬打造 xAI “算力超級工廠”,數萬個專用芯片組成巨型超算

標簽:
  • 熱門焦點
  • 雷克薩斯高管,“受賄”5000萬?

    來源:毒舌科技作者:潘磊雷克薩斯的高管,好像出事了。五六家日本小媒體,突然曝出了一個與中國市場有關的大新聞——雷克薩斯中國區一個高管受賄10億日元(約合人民幣5000
  • 三院士三教授熱聊元宇宙&——AIGC,學術界怎么看?

    來源:清元宇宙在近日舉辦的中國江寧2023元宇宙產業·人才高峰論壇暨AIGC發展大會上,中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發表了主旨演講。除了三
  • 元宇宙帶來沉浸式智能登錄?你學會了嗎?

    備受資本市場寵愛的元宇宙概念,正掀起一番番波瀾。元宇宙作為虛實相融的互聯網應用和社會形態,與沉浸式體驗緊密相關。 多重路徑,打造無感知沉浸式智能登錄《設計
  • 萬字專訪Vitalik Buterin:以太坊將成為主流和最安全的基礎層

    Vitalik Buterin 在 19 歲時撰寫了以太坊白皮書。他的目標簡單而全面,即創建一個“世界計算機”,旨在成為所有在線應用程序的靈活基礎層,無需任何第三方。自 2015
  • 權限風波過后 X2Y2如何挑戰OpenSea?

    繼LooksRare之后,又一個OpenSea挑戰者X2Y2來了。上周,X2Y2宣布向超過86萬個OpenSea交易用戶發放X2Y2通證空投,并啟動了「掛單挖礦」的獎勵機制。這場早期激勵活動
  • Terra鏈上TVL躍升至第二

    據DefiLlama數據顯示,當前,Terra鏈上應用鎖倉的加密資產價值(TVL)為172.1億美元,在公鏈板塊中已躍升至第二,超越了幣安智能鏈TVL的118億美元,TVL排名居首的仍為以太
  • 2022年去中心化交易所會崛起嗎?

    “在某個時候,去中心化衍生品的交易量可能會超過去中心化現貨交易所。”DEX 越來越多地轉向第二層解決方案。“數字化金融市場的概念以及如何沿著以用戶為中心
  • 元宇宙平臺會是上世紀末的互聯網嗎?

    “元宇宙”火了好幾個月,互聯網大廠忙于布局,資本市場熱烈追捧。然而很多人還是看不明白,更多的人覺得這是一場泡沫,一場騙局。一開始接觸這個怪里怪氣的名詞,感覺
  • TX加入的NFT數字收藏品,元宇宙的破圈之路?

    3月7日,澳大利亞 NFT 初創公司 Immutable 在新加坡淡馬錫牽頭的R資中以估值 25 億美元完成2億美元R資,騰訊參投。想必國人最熟知的應該就是TX,作為國內四大互聯網
Top 主站蜘蛛池模板: 镇安县| 财经| 和平区| 通山县| 广东省| 灵寿县| 开鲁县| 永康市| 铜陵市| 芜湖市| 武川县| 五峰| 高碑店市| 旬阳县| 郸城县| 扎鲁特旗| 静宁县| 丰城市| 玉龙| 凤凰县| 九龙城区| 布拖县| 阿拉善右旗| 吉隆县| 阿克陶县| 滨州市| 茌平县| 正阳县| 杭州市| 南川市| 东兴市| 蓬溪县| 墨竹工卡县| 手游| 含山县| 长海县| 连南| 邹平县| 辽阳市| 渝中区| 宜州市|