上、中、下游加深融合，搭建元宇宙產業全景
元宇宙產業鏈涉及多種技術和多個領域。在上游，聚集著大量的技術廠商，提供元宇宙相關的硬件和軟件支持；在中游，內容運營與分發領域也吸引著越來越多的企業以VR內容
6 月 4 日消息，上海人工智能實驗室聯合清華大學、伊利諾伊大學香檳分校等學府，組建國際團隊研發新方法，通過 Clip-Cov 和 KL-Cov 技術有效應對策略熵崩潰問題。
背景簡介
大型語言模型（LLMs）近年來在推理能力上的突破，讓強化學習（RL）的應用范圍從單一任務擴展到更廣泛的場景，這種進步賦予了模型更強的泛化能力和邏輯推理能力。
然而，與傳統的模仿學習不同，強化學習需要更高的計算資源來支持從經驗中學習，核心問題在于策略熵（反映了模型在利用已知策略和探索新策略之間的平衡）的下降。
熵值過低會導致模型過度依賴已有策略，喪失探索能力。這一探索-利用權衡（exploitation-exploration trade-off）是強化學習的基礎，如何控制策略熵成為訓練中的關鍵難題。
策略熵崩潰的理論與實踐突破
為解決這一問題，研究團隊提出了一個經驗公式：R = ?a exp H + b，其中 H 代表策略熵，R 為下游任務表現，a 和 b 為擬合系數。這一公式揭示了策略性能與熵值之間的權衡關系，指出熵耗盡是性能瓶頸。
研究進一步分析了熵動態變化，發現其受動作概率與 logits 變化協方差的驅動。為此，團隊創新性地提出了 Clip-Cov 和 KL-Cov 兩種技術，分別通過裁剪高協方差 token 和施加 KL 懲罰來維持熵水平。
實驗基于 Qwen2.5 模型和 DAPOMATH 數據集，覆蓋數學任務，結果顯示新方法在 7B 和 32B 模型上分別提升了 2.0% 和 6.4% 的性能，尤其在 AIME24 和 AIME25 等高難度基準測試中，32B 模型性能提升高達 15.0%。
研究團隊在包括 Qwen2.5、Mistral、LLaMA 和 DeepSeek 在內的 11 個開源模型上進行了測試，參數規模從 0.5B 到 32B 不等，涵蓋數學和編程任務的 8 個公開基準測試。
訓練采用 veRL 框架和零樣本設置，結合 GRPO、REINFORCE++ 等算法優化策略性能。結果表明，Clip-Cov 和 KL-Cov 技術能維持更高的熵水平，例如 KL-Cov 方法在基線熵值趨于平穩時仍保持 10 倍以上的熵值。
這不僅解決了策略熵崩潰問題，也為強化學習在語言模型中的擴展提供了理論支持。研究強調，熵動態是性能提升的關鍵瓶頸，未來需進一步探索熵管理策略，以推動更智能語言模型的發展。
附上參考地址
The Entropy Mechanism of Reinforcement Learning for Large Language Model Reasoning
The Entropy Mechanism of Reinforcement Learning for Reasoning Language Models
本文鏈接：http://www.www897cc.com/showinfo-45-13428-0.html上海 AI 實驗室聯合清華等大學突破強化學習算法，攻克 AI 推理熵崩潰難題
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號