新周期，誰在堅守窄門？
來源：錦緞今日的投資者恐怕已經忘記了，在OpenAI創造出ChatGPT這一殺器的前夜，生成式AI也曾經是一道窄門，窄到連馬斯克都差點失去了信心。在當時的輿論眼中，AGI的道路不夠性感，不夠
9 月 12 日消息，阿里云通義團隊今日宣布推出其下一代基礎模型架構 Qwen3-Next，并開源了基于該架構的 Qwen3-Next-80B-A3B 系列模型（Instruct 與 Thinking）。
通義團隊表示，Context Length Scaling 和 Total Parameter Scaling 是未來大模型發展的兩大趨勢，為了進一步提升模型在長上下文和大規模總參數下的訓練和推理效率，他們設計了全新的 Qwen3-Next 的模型結構。
該結構相比 Qwen3 的 MoE 模型結構，進行了以下核心改進：混合注意力機制、高稀疏度 MoE 結構、一系列訓練穩定友好的優化，以及提升推理效率的多 token 預測機制。
基于 Qwen3-Next 的模型結構，通義團隊訓練了 Qwen3-Next-80B-A3B-Base 模型，該模型擁有 800 億參數（僅激活 30 億參數）、3B 激活的超稀疏 MoE 架構（512 專家，路由 10 個 + 1 共享），結合 Hybrid Attention（Gated DeltaNet + Gated Attention）與多 Token 預測（MTP）。
從官方獲悉，該 Base 模型實現了與 Qwen3-32B dense 模型相近甚至略好的性能，而它的訓練成本僅為 Qwen3-32B 的十分之一不到，在 32k 以上的上下文下的推理吞吐則是 Qwen3-32B 的十倍以上，實現了極致的訓練和推理性價比。
該模型原生支持 262K 上下文，官方稱可外推至約 101 萬 tokens。據介紹，Instruct 版在若干評測中接近 Qwen3-235B，Thinking 版在部分推理任務上超過 Gemini-2.5-Flash-Thinking。
據介紹，其突破點在于同時實現了大規模參數容量、低激活開銷、長上下文處理與并行推理加速，在同類架構中具有一定代表性。
模型權重已在 Hugging Face 以 Apache-2.0 許可發布，并可通過 Transformers、SGLang、vLLM 等框架部署；第三方平臺 OpenRouter 亦已上線。
本文鏈接：http://www.www897cc.com/showinfo-45-27512-0.html阿里云發布通義?Qwen3-Next 基礎模型架構并開源 80B-A3B 系列：改進混合注意力機制、高稀疏度 MoE 結構
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號