新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創(chuàng)造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
12 月 19 日消息，開發(fā)了 ChatGPT 的 OpenAI 公司日前宣布成立新的“防備（Preparedness）”團隊，旨在監(jiān)控旗下技術可能帶來的潛在威脅，防止其落入壞人之手，甚至被用于制造化學和生物武器。
該團隊由麻省理工學院人工智能教授亞歷山大?馬德里 (Aleksander Madry) 領導，將招募人工智能研究人員、計算機科學家、國家安全專家和政策專家等，對 OpenAI 開發(fā)的技術進行持續(xù)監(jiān)測和測試，一旦發(fā)現(xiàn)任何危險苗頭，及時向公司發(fā)出警告。
OpenAI 周一發(fā)布了名為“防備框架”（Preparedness Framework）的指導方針，并強調這套指南仍處于測試階段。
據(jù)悉，防備團隊每月將向一個新的內部安全咨詢小組發(fā)送報告，該小組隨后將對其進行分析，并向 OpenAI 首席執(zhí)行官薩姆?阿爾特曼和董事會提交建議。阿爾特曼和公司高層可以根據(jù)這些報告決定是否發(fā)布新的 AI 系統(tǒng)，但董事會有權撤銷這一決定。
防備團隊將反復評估 OpenAI 最先進、尚未發(fā)布的 AI 模型，根據(jù)不同類型的感知風險評為四個等級，從低到高依次是“低”、“中”、“高”和“嚴重”。根據(jù)新的指導方針，OpenAI 將只推出評級為“低”和“中”的模型。
OpenAI 的“防備”團隊介于兩個現(xiàn)有團隊之間：負責消除 AI 系統(tǒng)中種族偏見等現(xiàn)有問題的“安全系統(tǒng)”團隊，以及研究如何確保 AI 在超越人類智能的未來場景中不會傷害人類的“超級對齊（Superalignment）”團隊。
注意到，ChatGPT 的火爆以及生成式 AI 技術的快速發(fā)展引發(fā)了科技界關于該技術潛在危險性的激烈討論。來自 OpenAI、谷歌和微軟的知名 AI 專家今年警告稱，該技術可能對人類構成與流行病或核武器相當?shù)纳嫱{。其他 AI 研究人員則認為，過度關注這些遙遠的巨大風險，忽視了 AI 技術目前已經造成的潛在危害。也有一些 AI 商業(yè)領袖認為，關于風險的擔憂被夸大了，公司應該繼續(xù)推進技術發(fā)展，造福社會并從中獲益。
OpenAI 在這場辯論中采取了較為折中的立場。首席執(zhí)行官薩姆?阿爾特曼 (Sam Altman) 承認該技術存在嚴重的長期風險，但也呼吁人們關注解決現(xiàn)有問題。他認為，監(jiān)管不應該阻礙小型公司在 AI 領域的競爭。同時，他也推動公司實現(xiàn)技術商業(yè)化，籌集資金加快發(fā)展。
馬德里是資深 AI 研究人員，曾在麻省理工學院負責可部署機器學習中心，并共同領導麻省理工學院 AI 政策論壇。今年他加入了 OpenAI，但在阿爾特曼被董事會解雇后，曾與少數(shù) OpenAI 高管一道辭職，五天后當阿爾特曼復職時，馬德里回到了公司。OpenAI 由一個非營利董事會管理，其使命是促進 AI 發(fā)展并使其造福全人類。在阿爾特曼復職后，三名解雇他的董事會成員辭職，目前該組織正在遴選新的董事會成員。
盡管領導層經歷了“動蕩”，馬德里表示，他仍然相信 OpenAI 董事會認真對待 AI 的風險。
除了 AI 領域的人才，OpenAI 的“防備”團隊還將招募來自國家安全等領域的專家，幫助公司了解如何應對重大風險。馬德里表示，團隊已經開始與美國核安全局等機構進行接觸，確保公司能夠適當?shù)匮芯?AI 的風險。
該團隊的重點之一是監(jiān)控 OpenAI 的技術何時以及如何引導人們進行計算機入侵或制造危險的化學、生物和核武器，超出人們通過常規(guī)研究可以在網(wǎng)上找到的內容。馬德里正在尋找這樣的人才：“他們會深入思考，‘我如何突破這些規(guī)則？我如何成為最機智的反派？’”
OpenAI 在周一的一篇博客文章中表示，公司還將允許來自 OpenAI 之外的“合格的獨立第三方”測試其技術。
馬德里表示，他既不同意那些擔心 AI 已經超越人類智能的“末日論者”，也不同意那些希望移除所有 AI 發(fā)展障礙的“加速主義者”。
他說：“我真切地認為，將發(fā)展和抑制截然分開是一種非常簡單的劃分方式。AI 擁有巨大的潛力，但我們也需要努力確保這些潛力得以實現(xiàn)，并且最大程度避免負面影響。”
本文鏈接：http://www.www897cc.com/showinfo-45-3004-0.htmlOpenAI 成立“防備”預警團隊：董事會有權阻止新 AI 模型發(fā)布
聲明：本網(wǎng)頁內容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號