近期，一項關(guān)于合成數(shù)據(jù)在大型模型訓練中應(yīng)用的新研究成果引起了業(yè)界的廣泛關(guān)注。這項研究由谷歌、卡內(nèi)基梅隆大學和MultiOn的聯(lián)合研究團隊共同完成。VYL28資訊網(wǎng)——每日最新資訊28at.com

據(jù)Epoch AI的研究報告顯示，盡管全球范圍內(nèi)已有約300萬億個高質(zhì)量的文本訓練標記可供使用，但隨著ChatGPT等大模型的快速發(fā)展，對訓練數(shù)據(jù)的需求正呈爆炸式增長。預測顯示，到2026年，現(xiàn)有的高質(zhì)量訓練數(shù)據(jù)或?qū)o法滿足需求。因此，探索合成數(shù)據(jù)作為替代方案顯得尤為重要。VYL28資訊網(wǎng)——每日最新資訊28at.com

在此次研究中，研究人員主要聚焦于兩種類型的合成數(shù)據(jù)：正向數(shù)據(jù)和負向數(shù)據(jù)。正向數(shù)據(jù)由高性能大模型（例如GPT-4和Gemini 1.5 Pro）生成，提供正確的數(shù)學問題解決方案，為模型提供學習范例。然而，單純依賴正向數(shù)據(jù)存在局限性，可能導致模型僅通過模式匹配學習，缺乏真正的理解能力，且在處理新問題時泛化能力下降。VYL28資訊網(wǎng)——每日最新資訊28at.com

為了克服這些挑戰(zhàn)，研究人員引入了負向數(shù)據(jù)，即經(jīng)過驗證的錯誤問題解決步驟。負向數(shù)據(jù)的加入有助于模型識別并避免錯誤，從而提升其邏輯推理能力。盡管使用負向數(shù)據(jù)面臨諸多困難，如錯誤步驟可能包含誤導性信息，但研究團隊通過直接偏好優(yōu)化（DPO）方法成功使模型能夠從錯誤中學習。VYL28資訊網(wǎng)——每日最新資訊28at.com

DPO方法為每個問題解決步驟分配一個優(yōu)勢值，反映其相對于理想解決方案的價值。研究表明，高優(yōu)勢步驟是正確解決方案的關(guān)鍵，而低優(yōu)勢步驟則可能揭示模型推理中的問題。借助這些優(yōu)勢值，模型能夠在強化學習框架內(nèi)動態(tài)調(diào)整策略，更高效地從合成數(shù)據(jù)中學習和改進。VYL28資訊網(wǎng)——每日最新資訊28at.com

VYL28資訊網(wǎng)——每日最新資訊28at.com

為了驗證合成數(shù)據(jù)的有效性，研究團隊選擇了DeepSeek-Math-7B和LLaMa2-7B等模型，在GSM8K和MATH數(shù)據(jù)集上進行了全面測試。測試結(jié)果顯示，經(jīng)過正向和負向合成數(shù)據(jù)預訓練的大模型在數(shù)學推理任務(wù)上的性能實現(xiàn)了顯著提升，甚至達到了八倍的增長。這一研究成果充分展示了合成數(shù)據(jù)在增強大模型邏輯推理能力方面的巨大潛力和實際應(yīng)用價值。VYL28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-21-141794-0.html合成數(shù)據(jù)助力，谷歌等大模型數(shù)學推理能力突飛猛進！

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 華為新專利：三進制邏輯門電路，能否引領(lǐng)芯片計算效率革命？

下一篇： 問界M8預訂火爆，余承東致謝：十萬家庭共選，即將全國800店亮相！