元宇宙里掀起回憶殺？這波虛擬懷舊營銷主打一個極限反差
來源：首席品牌官從被稱為“元宇宙元年”的2021年開始，幾乎所有品牌都在迫不及待地“入駐”元宇宙。而一提及品牌們的元宇宙玩法，相信多數人腦海里首先浮現
4 月 12 日消息，字節跳動于 4 月 8 日發布博文，其 Seed 研究團隊推出 VAPO 強化學習訓練框架，目標提升大型語言模型在復雜、冗長任務中的推理能力。
現有挑戰
在大型語言模型（LLM）的強化學習（RL）訓練中，價值導向方法（Value-based reinforcement learning methods）因能精確追溯每個動作對后續回報的影響，展現出巨大潛力。然而，應用于長鏈式推理（CoT）任務時，價值模型面臨三大挑戰。
首先，價值模型初始化會引入偏差；其次，傳統方法難以適應復雜任務中的序列長度差異；最后，驗證任務中獎勵信號稀疏，優化過程面臨探索與利用的權衡，這些問題限制了價值導向方法的實際效果。
VAPO簡介
字節跳動最新推出的 VAPO 框架全稱為 Value Augmented Proximal Policy Optimizationd（增強價值的近端政策優化），基于 PPO 框架，通過三項創新技術應對上述挑戰。
首先，VAPO 模型構建了細致的價值訓練框架，增強模型對復雜任務的理解。其次，引入長度自適應廣義優勢估計（GAE）機制，能根據響應長度動態調整參數，優化長短序列的訓練效果。最后，VAPO 整合了多項先前研究技術，形成協同增效的系統。
在不依賴特定監督微調（SFT）數據的情況下，Qwen2.5-32B 模型通過VAPO優化后，在 AIME24 基準測試中將得分從 5 分提升至 60.4 分，超越 DeepSeek R1 的 47 分，超過此前SOTA方式 DAPO（50 分）10分，僅用 60% 的更新步驟即達成業界領先。
相較于傳統 Proximal Policy Optimization（PPO）算法，VAPO 改進了數學推理能力，訓練曲線更為平滑，優化過程更穩定。
測試顯示，歸因于其價值模型提供的細粒度信號，VAPO 在長序列任務中表現出色，得分增長更快。盡管后期訓練熵值降低可能限制探索，VAPO 通過平衡設計確保了穩定性和可重復性。
VAPO 的成功源于其綜合優化設計。消融研究驗證了七項技術的有效性：價值預訓練防止崩潰，解耦 GAE 支持長回答優化，自適應 GAE 平衡短長回答，剪裁策略鼓勵探索，詞級損失增加長回答權重，正例語言模型損失提升 6 分，分組采樣貢獻 5 分。
這些改進使 VAPO 在探索與利用間找到最佳平衡，顯著優于無價值導向的 GRPO 和 DAPO 方法。VAPO 不僅提升了數學推理能力，還為 LLM 在復雜推理任務中的應用提供了新方向。
本文鏈接：http://www.www897cc.com/showinfo-45-12244-0.html字節跳動推出 VAPO 框架：突破 AI 推理極限，Qwen2.5-32B 提分 12 倍超 Deepseek-R1
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號