新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
在人工智能領域，大語言模型（LLM）的演進從未停歇，盡管整體架構自GPT-2以來并未發生根本性變化。近日，Sebastian Raschka博士通過深入分析OpenAI開源的gpt-oss模型（包括120B和20B版本），帶領讀者回顧了從GPT-2到gpt-oss的技術演進之路，并將gpt-oss與另一開源模型Qwen3進行了詳細對比。
8月5日，就在GPT-5發布的前兩天，OpenAI宣布推出兩款開源大語言模型：gpt-oss-120b和gpt-oss-20b。這是自2019年GPT-2發布以來，OpenAI首次開放模型權重，且得益于巧妙的優化技術，這些模型甚至可以在本地設備上運行。
Raschka博士在其文章《從GPT-2到gpt-oss：架構進步分析》中，詳細解析了從GPT-2到gpt-oss的架構演進。他指出，盡管兩者在整體架構上相似，但gpt-oss在多個細節上進行了優化，如移除Dropout、采用RoPE替代絕對位置編碼、激活函數從GELU轉向Swish/SwiGLU等。
首先，Dropout技術雖然在早期Transformer架構中被廣泛使用，但現代LLM發現其并不能顯著提升性能，反而可能因單輪訓練模式導致下游任務表現下降。因此，gpt-oss選擇了移除Dropout。
其次，在位置編碼方面，gpt-oss采用了RoPE（旋轉位置嵌入）替代傳統的絕對位置嵌入。RoPE通過對query和key向量施加位置相關的旋轉來編碼位置信息，這種方式更加高效且逐漸成為LLM的標配。
在激活函數的選擇上，gpt-oss從GELU轉向了Swish/SwiGLU。Swish的計算成本略低于GELU，且在實踐中表現良好，盡管兩者在建模性能上的差異并不顯著。
更重要的是，gpt-oss對前饋網絡模塊進行了重構，引入了帶門控的GLU（Gated Linear Unit）變體，如SwiGLU。這種結構不僅性能更好，而且總參數量更少，通過門控帶來的額外乘法交互增強了模型的表達能力。
gpt-oss還采用了Mixture-of-Experts（MoE，專家混合）技術，用多個前饋模塊替代單個前饋模塊，并在每個token生成步驟中只啟用其中一個子集。這種做法顯著增加了模型的總參數量，但通過稀疏性在推理階段保持了高效率。
在注意力機制方面，gpt-oss引入了分組查詢注意力（GQA）替代傳統的多頭注意力（MHA），并通過滑動窗口注意力進一步降低內存占用和計算成本。同時，gpt-oss還用RMSNorm替代了LayerNorm，以提升訓練效率。
在與Qwen3的對比中，gpt-oss展現出不同的設計思路。Qwen3是一個更深的架構，而gpt-oss則更寬。在MoE的使用上，gpt-oss采用了少量“大專家”策略，而Qwen3則傾向于更多、更小的專家。gpt-oss在注意力機制中引入了偏置項和注意力池，以穩定注意力機制。
在性能方面，gpt-oss與OpenAI自研的閉源模型以及Qwen3相當。盡管gpt-oss在某些任務上可能表現出較高的幻覺傾向，但其作為推理型模型的設計，使其在成本、算力和準確度之間找到了良好的平衡。
隨著gpt-oss的開源，更多開發者將能夠利用這一強大工具進行本地或私有化部署，推動人工智能技術在各領域的廣泛應用。
舉報 0收藏 0打賞 0評論 0分享 0 更多>同類資訊中歐AI合作：共拓發展空間，共筑治理新未來] 作為全球人工智能（AI）賽道的兩大勁旅，歐盟目前主要以標準與規則為導向深化AI的基礎研究與垂直應用，而中國主要以創新與發展為導向拓展AI的研發空間與立體場景。同時，中國可利用AI技術與應用的差異化優勢…08-18石頭科技Q2財報高增長，華安證券力挺：智能清潔市場前景廣闊其次，石頭科技在歐亞市場的占有率顯著提高，這不僅是品牌影響力的體現，也顯示了消費者對其產品的信任和認可。 總的來說，石頭科技的2025年第二季度財報展示了其在智能清潔領域的持續增長潛力，盡管面臨一些挑戰，但憑…08-18
人大新研：AI助手實現本地網絡雙搜，打造高效智能搜索新方案更重要的是，HierSearch不僅答案質量更高，搜索效率也更好，避免了傳統系統經常出現的無效搜索問題。 在實際應用效果的分析中，研究團隊發現HierSearch在多知識源環境中的搜索成功率和推理成功率都顯著…08-18
AI重塑廣東網絡視聽：超高清智能化引領文化傳播新時代張良杰教授預言，數據資產化將是網絡視聽領域下一步發展的關鍵走向。這一變化不僅顯著提升了制作效率，更為眾多中小型內容創作者打開了新的發展空間。他指出，網絡音視頻數據在大數據總量中占據了60%至70%的份額，如何…08-18訊飛醫療科技股價大漲15.38%，8月14日成交額達4256.80萬港元訊飛醫療科技市盈率 38.45 倍，行業排名第 25 位；其他同行業公司如平安好醫生（BG01.HK/558））為 52.68倍、阿里健康（BG88.HK/499）為 48.35 倍、醫渡科技（BG033.…08-18
華為Pura 80系列霸榜2025中國電信AI與衛星通信評測例如在AI社交方面，華為Pura 80系列推出的AI互動主題舞林萌主，能夠通過生動有趣的動作與人交互并呈現不同狀態，還能智能識別音樂、充電、佩戴耳機等使用場景，自動觸發相應的動畫效果，使其成為許多用戶喜愛的…08-17
奇安信亮相2025數博會，以AI驅動數據安全，共探數字經濟安全新路徑隨著人工智能大模型技術的爆發式發展，數據作為大模型訓練與應用的核心“燃料”，其安全防護已成為行業不可回避的核心關切。本屆數博會，奇安信將以“AI賦能數據安全”為主題，全面展示AI時代數據安全防護最新成果。奇…08-17ChatGPT負責人：GPT-5仍存編造信息問題，用戶需核對答案08-17
科大訊飛智能機器人閃耀世界機器人大會，展現認知智能新高度在這場匯聚全球頂尖機器人技術與成果的科技盛宴上，科大訊飛攜其最新研發的智能機器人產品驚艷亮相，憑借依托星火大模型打造的強大“大腦”，展現出機器人在認知智能領域的突破性進展，成為大會焦點，引發廣泛關注。 科大訊…08-17
AI賦能廣東網絡視聽：超高清+智能化開啟文化傳播新篇章2025年是國家超高清產業發展的元年，人工智能（AI）技術正深刻改變網絡視聽產業的生態。深圳大學智能服務計算研究中心主任張良杰在接受羊城晚報采訪時表示，AI技術的應用不僅提升了視聽內容的精度和體驗感，還推動了…08-17
華爾街大空頭巴里二季度轉向，大手筆買入阿里京東看漲期權華爾街知名對沖基金經理邁克爾·巴里在今年二季度對中概股態度發生重大轉變。這一操作與其一季度做空中概股的策略形成鮮明對比，顯示出其對中國資產前景判斷的顯著調整。 自2022年四季度起，巴里開始布局中國資產，對阿…08-17
科大訊飛引領人形機器人新紀元：大模型技術加速場景應用落地其機器人超腦平臺總經理劉可為指出，大模型技術的進步極大地推動了認知智能的發展，使機器人具備多輪對話、指令執行等能力。通過技術共享與合作交流，科大訊飛匯聚各方力量，形成了強大的產業合力，共同推動人形機器人技術不…08-17
華爾街大空頭巴里二季度調倉：清空中概股看跌，力挺阿里京東看漲華爾街知名對沖基金經理邁克爾·巴里在今年二季度對中概股態度發生重大轉變。這一操作與其一季度做空中概股的策略形成鮮明對比，顯示出其對中國資產前景判斷的顯著調整。 自2022年四季度起，巴里開始布局中國資產，對阿…08-17
奇安信亮相2025數博會：AI驅動數據安全，共筑數字經濟安全底座在技術創新方面，奇安信積極將人工智能、大數據等前沿技術應用于數據安全和個人信息保護解決方案中；在標準制定方面，奇安信參與工信部相關科技項目及國家數據安全標準制定，為行業規范發展貢獻智慧；在數據安全生態體系建設…08-17
AI熱潮下，GPU成網絡供應商新金礦思科首席執行官查克·羅賓斯（Chuck Robbins）周三在公司2025財年第四季度財報電話會議上與分析師交談時表示，第四季度來自網絡規模客戶的AI基礎設施訂單超過8億美元，2025財年則將達到20億美元…08-16點擊查看更多 +全站最新
2026款深藍L07煥新登場，全系標配華為智駕，打造新能源轎車新標桿
晨光涂料：科技引領轉型，成就國際舞臺新輝煌
長安第三代UNI-V智能運動轎跑上市，售價10.29萬-11.99萬
比亞迪天神之眼杭州站智駕盛宴落幕，L4級泊車“敢賠”引領行業新風尚
歐洲車企裁員潮起，中國新能源車企海外崛起成新趨勢
全新MG4降價來襲，7萬級純電小車新選擇，能否在中國市場逆襲？熱門內容人大新研：AI助手實現本地網絡雙搜，打造高效智能搜索新方案AI重塑廣東網絡視聽：超高清智能化引領文化傳播新時代華為Pura 80系列霸榜2025中國電信AI與衛星通信評測奇安信亮相2025數博會，以AI驅動數據安全，共探數字經濟安全新路徑科大訊飛智能機器人閃耀世界機器人大會，展現認知智能新高度AI賦能廣東網絡視聽：超高清+智能化開啟文化傳播新篇章
本文鏈接：http://www.www897cc.com/showinfo-45-26207-0.html從GPT-2到gpt-oss：深入解析大模型進化的關鍵細節
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號