3 月 27 日消息,科技媒體 NeoWin 昨日(3 月 26 日)發(fā)布博文,報(bào)道稱數(shù)據(jù)智能公司 Databricks 發(fā)布新型大語(yǔ)言模型微調(diào)方法 TAO(Test-time Adaptive Optimization),通過(guò)無(wú)標(biāo)注數(shù)據(jù)和強(qiáng)化學(xué)習(xí)技術(shù),在顯著降低企業(yè)成本的同時(shí)提升模型性能。
測(cè)試顯示,在金融文檔問(wèn)答和 SQL 生成任務(wù)中,通過(guò) TAO 微調(diào)后的 Llama 3.3 70B 模型,表現(xiàn)甚至超越傳統(tǒng)標(biāo)注微調(diào)方法,逼近 OpenAI 頂級(jí)閉源模型。
TAO 方法利用測(cè)試時(shí)計(jì)算(test-time compute)自動(dòng)探索任務(wù)可能性,結(jié)合強(qiáng)化學(xué)習(xí)優(yōu)化模型,省去人工標(biāo)注成本。在三大企業(yè)基準(zhǔn)測(cè)試中,TAO 微調(diào)的 Llama 模型表現(xiàn)亮眼:
FinanceBench(7200 道 SEC 文檔問(wèn)答):TAO 模型得分 85.1,優(yōu)于標(biāo)注微調(diào)(81.1)和 OpenAI o3-mini(82.2)。
BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),遠(yuǎn)超標(biāo)注微調(diào)(54.9)。
DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分為 53.8 分。
TAO 技術(shù)為開(kāi)源模型提供了持續(xù)進(jìn)化路徑:用戶使用越多,模型通過(guò)反饋數(shù)據(jù)自我優(yōu)化的潛力越大,目前該技術(shù)已在 Llama 模型上啟動(dòng)私測(cè),企業(yè)可通過(guò)申請(qǐng)表單參與。
本文鏈接:http://www.www897cc.com/showinfo-45-11783-0.html開(kāi)源逆襲:TAO 方法微調(diào) Llama 模型,F(xiàn)inanceBench 跑分超 GPT-4o
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: AI 文生圖新王者:Reve Image 1.0 登頂,低價(jià)高質(zhì)挑戰(zhàn) Midjourney 和 Flux