B端難做：留給魔琺科技的時間不多了
來源：零態LT元宇宙泡沫正在碎裂，進入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個月的工業元宇宙部門；今年3月，該公司2017年收購的虛擬現實社交平臺AltspaceVR
5 月 27 日消息，科技媒體 marktechpost 今天（5 月 27 日）發布博文，報道稱微軟研究院聯合清華大學、北京大學組建團隊，推出獎勵推理模型（Reward Reasoning Models，RRMs），通過顯式推理過程動態分配計算資源，提升復雜任務評估效果。
援引博文介紹，強化學習（Reinforcement Learning，RL）已成為大語言模型（LLM）后訓練的核心方法，通過人類反饋（RLHF）或可驗證獎勵（RLVR）提供監督信號。
然而，RLVR 在數學推理中雖有潛力，卻因依賴可驗證答案的訓練查詢而受限，難以應用于通用領域的大規模訓練。
此外，現有獎勵模型分為標量型和生成型兩大類，均無法有效擴展測試時的計算資源。當前方法對所有輸入統一分配計算資源，缺乏針對復雜查詢進行細致分析的能力，導致評估效果不佳。
為解決上述問題，微軟研究院、清華大學和北京大學的研究者聯手推出獎勵推理模型（RRMs）。RRMs 在給出最終獎勵前執行顯式推理過程，能夠根據任務復雜性自適應分配額外計算資源。
這種方法通過“思維鏈”（Chain-of-Thought）推理，針對獎勵不明顯的復雜查詢投入更多測試時計算資源。
RRMs 基于 Qwen2 模型，采用 Transformer-decoder 架構，將獎勵建模轉化為文本補全任務，生成推理過程后給出最終判斷。
研究團隊利用 RewardBench 庫進行系統分析，評估指標包括指令遵循性、幫助性、準確性、無害性和細節水平。RRMs 還支持多響應評估，通過 ELO 評分系統和淘汰賽機制，結合多數投票提升計算資源利用率。
測試結果顯示，RRMs 在 RewardBench 和 PandaLM Test 基準測試中表現突出。其中，RRM-32B 在推理類別中達到 98.6% 的準確率，與使用相同數據訓練的 DirectJudge 模型相比，RRMs 展現出顯著性能差距，證明其在復雜查詢中有效利用測試時計算資源。
在獎勵引導的最佳 N 推理（Best-of-N Inference）和后訓練反饋中，RRMs 超越所有基線模型，且進一步提升多數投票機制效率。
研究還表明，隨著模型規模從 7B、14B 到 32B 擴展，更長的推理時間始終帶來準確性提升。RRMs 通過并行和順序擴展方法高效利用計算資源，為傳統標量獎勵模型提供強大替代方案。
本文鏈接：http://www.www897cc.com/showinfo-45-13260-0.html微軟攜手清華、北大推出獎勵推理模型：根據 AI 任務復雜性動態分配計算資源
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號