三院士三教授熱聊元宇宙&——AIGC，學(xué)術(shù)界怎么看？
來源：清元宇宙在近日舉辦的中國江寧2023元宇宙產(chǎn)業(yè)·人才高峰論壇暨AIGC發(fā)展大會上，中國工程院院士譚建榮、劉韻潔、鄭緯民出席并發(fā)表了主旨演講。除了三大院士，還有清華
5 月 21 日消息，繼 OpenAI 共同創(chuàng)始人 Ilya Sutskever 離職之后，另一名 OpenAI 高管 Jan Leike 在 X 平臺發(fā)布貼文，宣布他已經(jīng)在上周離開公司。
據(jù)悉，Jan Leike 是 OpenAI 旗下Superalignment（超級對齊）團隊的共同主管，他表示最近幾年 OpenAI 已經(jīng)不惜內(nèi)部文化，忽視安全準(zhǔn)則，執(zhí)意高速推出“吸引眼球”的產(chǎn)品。
經(jīng)查詢得知，OpenAI 在 2023 年 7 月設(shè)立Superalignment團隊，任務(wù)是“確保那些具備‘超級智能’、‘比人類還聰明’的 AI 系統(tǒng)能夠遵循人類的意圖”。當(dāng)時 OpenAI 承諾在未來的 4 年內(nèi)投入 20% 的計算能力來保證AI模型的安全性，而根據(jù)彭博社報道，OpenAI 目前據(jù)稱已經(jīng)解散了 Superalignment團隊。
Leike 表示，他加入 OpenAI 的原因是“他認(rèn)為 OpenAI 是世界上最適合進行 AI 安全研究的場所”。然而目前 OpenAI 領(lǐng)導(dǎo)層已經(jīng)高度忽視了模型的安全性，將核心優(yōu)先事項放在盈利與獲取計算資源上。
截至發(fā)稿，OpenAI的 Greg Brockman 和 Sam Altman 已經(jīng)聯(lián)名對 Leike 的看法作出回應(yīng)，表示他們“已經(jīng)提高了對于AI風(fēng)險的認(rèn)知，未來還會不斷提升安全工作以應(yīng)對每款新模型的利害關(guān)系”，翻譯如下：
我們非常感謝 Jan 為 OpenAI 所做的一切，我們知道他將繼續(xù)在外部為我們的使命做出貢獻。鑒于他離職引起的一些問題，我們想解釋一下我們對整體戰(zhàn)略的思考。
首先，我們已經(jīng)提高了對 AGI 風(fēng)險和機遇的認(rèn)識，以便世界更好地為其做好準(zhǔn)備。我們反復(fù)展示了深度學(xué)習(xí)擴展帶來的巨大可能性并分析其影響；在國際上呼吁對 AGI 進行治理（在這種呼吁變得流行之前）；并且在評估 AI 系統(tǒng)的災(zāi)難性風(fēng)險的科學(xué)領(lǐng)域進行了開創(chuàng)性的工作。
其次，我們正在為越來越強大的系統(tǒng)的安全部署奠定基礎(chǔ)。首次讓新技術(shù)安全化并不容易。例如，我們的團隊做了大量工作以安全地將 GPT-4 帶給世界，并且自那以后，持續(xù)改進模型行為和濫用監(jiān)測，以應(yīng)對從部署中學(xué)到的經(jīng)驗教訓(xùn)。
第三，未來會比過去更難。我們需要不斷提升我們的安全工作，以匹配每個新模型的風(fēng)險。去年，我們采用了準(zhǔn)備框架來系統(tǒng)化我們的工作方法。
現(xiàn)在是談?wù)勎覀內(nèi)绾慰创磥淼暮脮r機。
隨著模型能力的不斷提升，我們預(yù)計它們將更深入地與世界整合。用戶將越來越多地與由多個多模態(tài)模型和工具組成的系統(tǒng)互動，這些系統(tǒng)可以代表用戶采取行動，而不僅僅是通過文本輸入和輸出與單一模型對話。
我們認(rèn)為這些系統(tǒng)將非常有益并對人們有幫助，并且可以安全地交付，但這需要大量的基礎(chǔ)工作。這包括在訓(xùn)練過程中對其連接內(nèi)容的深思熟慮，解決諸如可擴展監(jiān)督等難題，以及其他新型安全工作。在這個方向上構(gòu)建時，我們尚不確定何時能達到發(fā)布的安全標(biāo)準(zhǔn)，如果這會推遲發(fā)布時間，我們也認(rèn)為是可以接受的。
我們知道無法預(yù)見每一種可能的未來場景。因此，我們需要非常緊密的反饋循環(huán)，嚴(yán)格的測試，每一步的仔細(xì)考慮，世界級的安全性，以及安全與能力的和諧統(tǒng)一。我們將繼續(xù)進行針對不同時間尺度的安全研究。我們也繼續(xù)與政府和許多利益相關(guān)者在安全問題上進行合作。
沒有現(xiàn)成的手冊來指導(dǎo) AGI 的發(fā)展道路。我們認(rèn)為經(jīng)驗理解可以幫助指引前進的方向。我們既相信要實現(xiàn)巨大的潛在收益，又要努力減輕嚴(yán)重的風(fēng)險；我們非常認(rèn)真地對待我們的角色，并慎重地權(quán)衡對我們行動的反饋。
— Sam 和 Greg
本文鏈接：http://www.www897cc.com/showinfo-45-4370-0.htmlOpenAI 高管 Jan Leike 離職，批判公司內(nèi)部已不再將“安全”視為優(yōu)先
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號