3 月 27 日消息,科技媒體 NeoWin 昨日(3 月 26 日)發布博文,報道稱數據智能公司 Databricks 發布新型大語言模型微調方法 TAO(Test-time Adaptive Optimization),通過無標注數據和強化學習技術,在顯著降低企業成本的同時提升模型性能。
測試顯示,在金融文檔問答和 SQL 生成任務中,通過 TAO 微調后的 Llama 3.3 70B 模型,表現甚至超越傳統標注微調方法,逼近 OpenAI 頂級閉源模型。
TAO 方法利用測試時計算(test-time compute)自動探索任務可能性,結合強化學習優化模型,省去人工標注成本。在三大企業基準測試中,TAO 微調的 Llama 模型表現亮眼:
FinanceBench(7200 道 SEC 文檔問答):TAO 模型得分 85.1,優于標注微調(81.1)和 OpenAI o3-mini(82.2)。
BIRD-SQL:TAO 模型 56.1 分,接近 GPT-4o(58.1),遠超標注微調(54.9)。
DB Enterprise Arena:TAO 模型 47.2 分,而 GPT-4o 模型得分為 53.8 分。
TAO 技術為開源模型提供了持續進化路徑:用戶使用越多,模型通過反饋數據自我優化的潛力越大,目前該技術已在 Llama 模型上啟動私測,企業可通過申請表單參與。
本文鏈接:http://www.www897cc.com/showinfo-45-11783-0.html開源逆襲:TAO 方法微調 Llama 模型,FinanceBench 跑分超 GPT-4o
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com