5 月 22 日消息,科技媒體 marktechpost 昨日(5 月 21 日)發布博文,報道稱 Meta 公司推出 J1 系列模型,通過強化學習和合成數據訓練,顯著提升判斷模型準確性和公平性。
項目背景
大型語言模型(LLM)正在突破傳統角色,逐步承擔起評估與判斷的重任。這種“LLM-as-a-Judge”的模式,讓 AI 模型能夠審查其他語言模型的輸出,成為強化學習、基準測試和系統對齊的重要工具。
不同于傳統的獎勵模型直接打分,判斷模型通過內部鏈式推理(chain-of-thought reasoning)模擬人類思考,特別適合數學解題、倫理推理和用戶意圖解讀等復雜任務,還能跨語言和領域驗證回應,推動語言模型開發的自動化和擴展性。
不過“LLM-as-a-Judge”模式目前面臨的挑戰是一致性差和推理深度不足,許多系統依賴基本指標或靜態標注,無法有效評估主觀或開放性問題;另一個問題就是位置偏見(position bias)答案順序常影響最終判斷,損害公平性。
此外,大規模收集人工標注數據成本高昂且耗時,限制了模型的泛化能力。EvalPlanner 和 DeepSeek-GRM 等現有解決方案依賴人工標注或僵化訓練模式,適應性有限。
J1 模型的創新突破
為解決上述問題,Meta 的 GenAI 和 FAIR 團隊研發了 J1 模型。J1 通過強化學習框架訓練,采用可驗證的獎勵信號學習,使用 22000 個合成偏好對(包括 17000 個 WildChat 語料和 5000 個數學查詢)構建數據集,訓練出 J1-Llama-8B 和 J1-Llama-70B 兩款模型。
團隊還引入 Group Relative Policy Optimization(GRPO)算法,簡化訓練過程,并通過位置無關學習(position-agnostic learning)和一致性獎勵機制消除位置偏見。
J1 支持多種判斷格式,包括成對判斷、評分和單項評分,展現出極高的靈活性和通用性。
測試結果顯示,J1 模型性能大幅領先。在 PPE 基準測試中,J1-Llama-70B 準確率達 69.6%,超越 DeepSeek-GRM-27B(67.2%)和 EvalPlanner-Llama-70B(65.6%);即便是較小的 J1-Llama-8B,也以 62.2% 的成績擊敗 EvalPlanner-Llama-8B(55.5%)。
J1 還在 RewardBench、JudgeBench 等多個基準測試中展現出頂級表現,證明其在可驗證和主觀任務上的強大泛化能力,表明推理質量而非數據量,是判斷模型精準的關鍵。
本文鏈接:http://www.www897cc.com/showinfo-45-13122-0.htmlMeta 推出 J1 系列模型:革新 LLM-as-a-Judge,打造最強“AI 法官”
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com