B端難做：留給魔琺科技的時間不多了
來源：零態LT元宇宙泡沫正在碎裂，進入2023年后這一賽道熱度一直在遞減。今年2月，微軟解散了成立僅四個月的工業元宇宙部門；今年3月，該公司2017年收購的虛擬現實社交平臺AltspaceVR
9 月 3 日消息，谷歌 DeepMind 團隊于 8 月 27 日在 arxiv 上發表論文，介紹展示了 GenRM 生成式驗證器，創造性提出獎勵模型，從而提升生成式 AI 推理能力。
AI 行業內，目前提高大語言模型（LLMs）的主流做法就是 Best-of-N 模式，即由 LLM 生成的 N 個候選解決方案由驗證器進行排序，并選出最佳方案。
這種基于 LLM 的驗證器通常被訓練成判別分類器來為解決方案打分，但它們無法利用預訓練 LLMs 的文本生成能力。
DeepMind 團隊為了克服這個局限性，嘗試使用下一個token 預測目標來訓練驗證器，同時進行驗證和解決方案生成。
DeepMind 團隊這種生成式驗證器（GenRM），相比較傳統驗證器，主要包含以下優點：
無縫集成指令調整
支持思維鏈推理
通過多數投票利用額外的推理時間計算
在算法和小學數學推理任務中使用基于 Gemma 的驗證器時，GenRM 的性能優于判別式驗證器和 LLM-as-a-Judge 驗證器，在使用 Best-of-N 解決問題的百分比上提高了 16-64%。
據 Google DeepMind 報道，GenRM 相對于分類獎勵模型的邊標志著人工智能獎勵系統的關鍵演化，特別是在其容量方面，以防止新模型學成到的欺詐行為。這一進步突出表明，迫切需要完善獎勵模型，使人工智能輸出與社會責任標準保持一致。
附上參考地址
Google DeepMind Researchers Propose GenRM: Training Verifiers with Next-Token Prediction to Leverage the Text Generation Capabilities of LLMs
Generative Verifiers: Reward Modeling as Next-Token Prediction
本文鏈接：http://www.www897cc.com/showinfo-45-6708-0.html谷歌 DeepMind 展示 GenRM 技術：微調 LLMs 作為獎勵模型，提升生成式 AI 推理能力
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號