不同于傳統數字經濟，元宇宙賦予商業生態更多數字資產價值！
作者：中科基大數據元宇宙是一個去中心化的開放平臺，而為了維護這樣的平臺，需要建立一個公平的游戲規則，確保每個元宇宙的參與者通過這個規則都可以掙到錢，他們的利益都可以得到保
GPT-5，曾經差點難產？這條誕生路，簡直是烈火煉真金。一邊是人才出走、小扎截胡、團隊內部陷入混亂，另一邊，推理模型魔咒讓研究者苦惱不已，項目甚至一度停擺。外媒曝出這期 GPT-5 誕生內幕，可謂亮點滿滿，干貨十足。
就在剛剛，外媒 The Information 曝出了關于 GPT-5 的一大波最新內幕，眾多猛料來了！
比如，GPT-5 并未取得技術突破，不存在 GPT-3 到 GPT-4 這種級別的躍升。
比如，OpenAI 正面臨著嚴重的數據瓶頸和技術難題。
還有一個勁爆大瓜，OpenAI 大波核心研究者一下子被小扎撬走，直接導致了 OpenAI 內部的組織架構混亂！
為此，研究副總裁 Jerry Tworek 在 Slack 上公開向研究主管 Mark Chen 抱怨，許多同事都看到了。
不過，就在這么一篇唱衰的文章發布之際，OpenAI 同時又有好消息了。
近日，OpenAI 又獲得了一筆巨額融資。據悉，OpenAI 已提前數月籌集了 83 億美元資金，這就導致它的估值直接達到 3000 億美元，這是今年 400 億美元融資計劃的一部分。
參與此輪融資的，有一大波全新投資者，其中 Dragoneer 投資集團以 28 億美元領投本輪，Blackstone、TPG、Fidelity、Founders Fund、紅杉資本等跟投。
不過，雖說 Dragoneer 是本輪融資的最大出資方，但軟銀仍是整個 400 億融資計劃的牽頭者。
GPT-5 還沒發布，各方勢力都下場了，這不免讓人把期待值拉滿，屏息等待下周的盛況了。
Orion 隕落真相：GPT-5 沒做出來，降級成 4.5 了去年萬眾矚目的 Orion，大家應該都還記得。
The Information 爆料說，2024 年下半年的大部分時間里，OpenAI 都在全力開發 Orion 模型，它被寄予了厚望，原計劃作為 GPT-5 推出。
跟 5 月發布的旗艦模型 GPT-4o 相比，Orion 本該有巨大飛躍。
結果它的性能令人大失所望，最終只能被降級成 GPT-4.5，在今年 2 月推出。默默上線后，GPT-4.5 迅速淡出公眾視野。
所以，Orion 為何會失敗？
最核心的原因就在于，團隊摸到了預訓練階段的天花板。因為高質量網絡數據已經日益枯竭，訓練小模型時還有效的技巧，在大模型身上竟然就會失效。
這不光導致了 GPT-5 的延期，也讓 OpenAI 的團隊內部陷入了自我懷疑。
GPT-5，根本沒有 GPT-3 到 GPT-4 級的躍遷這個從神壇跌落的故事，要從去年 12 月說起。
當時，OpenAI 的研究者完成了一項內部測試，結果震驚了整個團隊。
他們發現，當給一個新模型更多算力和思考時間，它就像開了掛一樣，復雜推理信手拈來，執行任務出色到驚人。
然而，激動的工程師們很快發現，這份興奮只是暫時的。
當他們把這個新模型轉化為 o3 聊天版本時，那種驚人的性能提升消失了。
可以說，這次事件，正是 OpenAI 在今年大部分時間里所面臨技術挑戰的一個縮影。這讓 OpenAI 不僅內部技術進展緩慢，大獲成功的 ChatGPT 業務也受到波及。
GPT-5 發布前夕，各類泄露和爆料已經是滿天飛。
比如，它的編程和數學能力又有了顯著提升。另外，它在驅動 AI 智能體方面也優于前代模型，只需要極少人工監督，就能處理復雜任務。
它能遵循極其復雜的指令，比如支持智能體何時應批準退款的規則。而在以往，模型需要學習多個棘手的「邊緣案例」，才能處理此類退款。
但總的來說，這些改進根本無法與 2020 年 GPT-3 到 2023 年的 GPT-4 之間的性能飛躍相提并論。
也就是說，我們需要做好對 GPT-5 失望的準備。
不過，OpenAI 模型的任何改進，即便是漸進式的，也能刺激客戶需求，以及給投資者信心。這樣才能支持 OpenAI 未來三年半燒掉 450 億的計劃，畢竟租用服務器實在是太昂貴了。
高管為何相信 GPT-8？最近曾有 OpenAI 高管向投資者透露：沿著目前架構，他們相信模型有朝一日會達到 GPT-8 的水平。
CEO 奧爾特曼也表示過，利用現有技術，OpenAI 有望創造出 AGI。
是什么給了他們這樣的信念？
一位了解內情的微軟員工透露了玄機：測試 GPT-5 后，他們發現它在不消耗更多算力的情況下，就能生成更高質量的代碼和文本。
部分原因在于，它學會了精準判斷出不同任務所需的計算資源量。
內部「混亂不堪」不過 OpenAI 內部，可并非一片和諧。
比如一些高級研究者，非常抵觸將自己的成果交給微軟，盡管這位最大股東擁有的合同權利截至到 2030 年。
雖然兩家公司財務緊密，但在具體合作條款上，卻始終爭執不休。最新信息是，OpenAI 重組營利性部門后，微軟很可能在其中獲得 33% 的股份。
而小扎以天價薪酬挖走的團隊，也讓 OpenAI 內部陷入了更大的混亂。
走了這么多人，只能緊急進行組織架構調整。
上周，OpenAI 的研究副總裁 Jerry Tworek 在 Slack 上向上司、研究主管 Mark Chen 抱怨團隊變動的事，許多同事都看到了這條信息。
當時，Tworek 表示需要休假一周來重新思考，但最終并未休假。
總之，直到今年 6 月，情況依然很嚴峻：OpenAI 開發的模型中，沒有一個能頂得住 GPT-5 的名號。
好在，「推理模型」成了他們的全新突破口。
23 年末一項名為 Q * 的技術突破，能解決前所未見的數學問題，在 OpenAI 研究者中引發了巨大震動。
基于 Q*，OpenAI 開發了許多推理模型，在獲得更多算力時，它們就會表現更佳 —— 看起來，預訓練的性能增長瓶頸，就要被克服了。
去年秋天，第一個推理模型正式推出，它就是 o1。24 年底，OpenAI 利用與 o1 基礎相同的 GPT-4o，又推出了推理模型 o3。
據說，雖然師出同門，但 o3 的教師模型在理解科學知識方面，比 o1 的教師模型進步大得多。
背后原因，就是 OpenAI 用了更多英偉達芯片來開發 o3 的教師模型，這就讓它理解復雜概念時能力更強。
還有一個原因，就是它被賦予了搜索網絡，以及從代碼庫中提取信息的能力。
并且，它也同樣受益于強化學習。此過程中，人類專家在生物學、軟件工程和醫學上提出刁鉆的問題和答案，然后讓模型針對這些問題生成數千個自己的回答。
隨后，OpenAI 會利用那些與人類專家得出相同答案的 AI 生成回答（也即「合成數據」）來訓練模型。
推理模型為何總翻車o3 模型發布后，一度成為全球頭條，引發病毒式討論，然而現實很快給了當頭一棒。
當 o3 的教師模型轉換為學生模型，變成一個可以讓人們提問的聊天版本時，它的性能顯著下降，甚至跟 o1 相比沒有任何區別。
同樣，創建讓企業通過 API 購買的版本時，同樣的問題也出現了。
有知情人分析，原因是這樣的：o3 理解概念的方式很獨特，跟人類的交流方式大相徑庭。
因此，如果創建一個聊天版本，其實就拉低了這個原始天才級模型的智能水平，因為它被迫用人類語言，而非自己的語言去交流。這種情況下，它的推理鏈條就會被迫壓縮、扭曲。
甚至有開發者在調試時，偶爾能看到模型輸出「亂碼」般的中間語言 —— 那可能就是它「思考」的原始形態，也就是這個天才原本的樣子。
還有人認為，OpenAI 沒有投入足夠精力來訓練模型在聊天場景中與人類進行有效溝通。
總之，o 系列模型讓 ChatGPT 的用戶非常困惑，因此公司決定重新回歸 GPT 的命名體系。
「通用驗證器」好在，OpenAI 還有辦法。
據悉，內部正在開發一種「通用驗證器」，可以自動化地確保模型在 RL 過程中產生高質量的答案。
本質上，這個過程是讓一個 LLM 承擔起檢查和評估另一個模型答案的任務，并利用各種信息源來對答案進行研究核實。
前一陣 OpenAI 的模型在數學競賽中拿了金牌后，高級研究員 Alexander Wei 在 X 上表示，他們所使用的強化學習方法是「通用」的。
也就是說，這個模型不僅能檢查編程這種標準答案清晰的內容，甚至還能判斷寫作這種主觀性很強的內容質量。
這就對 GPT-5 助力極大！
OpenAI 強化學習團隊負責人 Tworek 最近也公開表示，自己認同這個觀點：OpenAI 模型背后的強化學習系統，其實已經具備了通往 AGI 的潛力。
目前，包括 xAI 和谷歌在內的 AI 大廠都已加倍押注強化學習。
上周，Altman 在播客節目中，描述 GPT-5 的能力說，它輕松解決了一個他根本看不懂的問題，直接讓他坐到椅子上，感到暈眩。
這就進一步點燃了我們對 GPT-5 的狂熱期待。
「在幾乎所有方面，GPT-5 都比我們更聰明。」
究竟什么樣的模型，才配叫作 GPT-5？好在，我們要等的時間不多了。
參考資料：
https://www.theinformation.com/articles/inside-openais-rocky-path-gpt-5?rc=epv9gi
本文來自微信公眾號：新智元（ID：AI_era）
本文鏈接：http://www.www897cc.com/showinfo-45-25813-0.htmlGPT-5 難產內幕曝光：核心團隊遭挖空，推理魔咒難破，靠英偉達續命
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號