近日,字節(jié)跳動旗下的Seed團隊在開源領域邁出了重要一步,正式推出了Seed-OSS系列模型。這一系列模型專為長上下文處理、推理任務、智能體交互及通用場景設計,其上下文窗口長度達到了前所未有的512k,這一數(shù)字是業(yè)界常規(guī)標準的四倍,甚至超越了GPT-5的兩倍,相當于能夠一次性處理約1600頁文本的信息量。

Seed-OSS系列模型不僅針對推理任務進行了深度優(yōu)化,還創(chuàng)新性地引入了思維預算功能,允許用戶根據(jù)實際需求靈活調整模型的推理成本。這一特性使得開發(fā)者能夠在保證模型性能的同時,有效控制資源消耗,提升用戶體驗。
此次開源的Seed-OSS系列包括三個版本:基礎模型Seed-OSS-36B-Base、無合成數(shù)據(jù)基礎模型Seed-OSS-36B-Base-woSyn,以及經(jīng)過指令微調的Seed-OSS-36B-Instruct。其中,指令微調后的Seed-OSS-36B-Instruct在多個領域的基準測試中表現(xiàn)出色,取得了同量級開源模型中的七項最佳性能(SOTA),整體實力超越了Qwen3-32B、Gemma3-27B、gpt-oss-20B等模型,與Qwen3-30B-A3B-Thinking-2507在多數(shù)領域不相上下。

值得注意的是,Seed團隊在發(fā)布這一系列模型時,采取了極為“研究友好”的策略。考慮到合成指令數(shù)據(jù)在預訓練中的潛在影響,團隊特別發(fā)布了無合成數(shù)據(jù)基礎模型,為科研工作者提供了更多樣化的研究選項。Seed-OSS系列模型還支持4位和8位格式的量化處理,進一步降低了內(nèi)存需求,提升了模型的應用靈活性。
在技術上,Seed-OSS系列模型采用了12萬億個token的預訓練數(shù)據(jù),并沿用了當前主流的因果語言模型架構。這一系列模型均為稠密模型,未采用MoE等復雜架構,而是結合了RoPE旋轉位置編碼、GQA注意力機制、RMSNorm歸一化及SwiGLU激活函數(shù)等高效組件,以提升訓練穩(wěn)定性和推理性能。其512k的上下文窗口并非后續(xù)擴展而來,而是通過原生訓練實現(xiàn),能夠一次性處理數(shù)十萬字的內(nèi)容。
思維預算功能的引入,使得開發(fā)者可以根據(jù)任務復雜度靈活調整模型推理成本。對于簡單任務,模型思維鏈較短,分數(shù)波動不明顯;而對于復雜任務,隨著思維預算的增加,模型分數(shù)也會相應提升。若未設置思維預算,Seed-OSS將默認無思考長度限制;若指定預算,則建議優(yōu)先考慮512的整數(shù)倍值,因為這些區(qū)間上的模型訓練更為充分。
Seed-OSS系列模型的發(fā)布,在開源社區(qū)內(nèi)引起了廣泛關注。Hugging Face的華人工程師Tiezhen Wang評價稱,這一系列模型非常適合進行消融研究,能夠以較低成本探索不同組件對大模型性能的影響。網(wǎng)友們也紛紛表示,如此規(guī)模的基礎模型在開源界實屬罕見,長上下文能力對于實際應用具有重大意義。
近年來,開源已成為技術創(chuàng)新的重要推動力,連OpenAI等原本堅持閉源策略的廠商也開始逐步開源模型。字節(jié)跳動此次將核心語言模型貢獻給社區(qū),無疑為開源社區(qū)的后續(xù)研究提供了更多基礎模型的選擇,進一步推動了人工智能技術的開放與發(fā)展。
本文鏈接:http://www.www897cc.com/showinfo-48-8408-0.html字節(jié)跳動Seed團隊開源推理大模型,Seed-OSS系列斬獲7項SOTA成績
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com