《蜘蛛俠》火了，超級英雄就該這么演
燃次元（ID:chaintruth）原創作者 | 陶 淘編輯 | 曹 拿下豆瓣8.8分、IMDB 9.1的高分，6月2日在全球同步上映的《蜘蛛俠：縱橫宇宙》（以下簡稱《蜘蛛俠》），上映不足一周，便在國內“
5 月 27 日消息，科技媒體 The Decoder 昨日（5 月 26 日）發布博文，報道稱谷歌推出開源框架 LMEval，為大語言模型和多模態模型提供標準化的評測工具。
評測新型 AI 模型一直是個難題。不同供應商使用各自的 API、數據格式和基準設置，導致跨模型比較耗時且復雜。
而谷歌最新推出的 LMEval 開源框架直擊這一痛點，研究人員和開發者只需設置一次基準，就能展開標準化的評測流程，大幅簡化了評測工作，節省了時間和資源。
LMEval 還通過 LiteLLM 框架抹平了 Google、OpenAI、Anthropic、Ollama 和 Hugging Face 等平臺之間的接口差異，確保測試跨平臺無縫運行。
LMEval 不僅支持文本評測，還涵蓋圖像和代碼等領域的基準測試，且新輸入格式可輕松擴展，框架支持是非題、多選題和自由文本生成等多種評估類型。同時，該框架能識別模型采用的“規避策略”，即故意給出模糊回答以避免生成有風險內容。
Google 還引入了 Giskard 安全評分，展示模型規避有害內容的表現，百分比越高代表安全性越強。測試結果存儲在自加密的 SQLite 數據庫中，確保數據本地化且不會被搜索引擎索引，兼顧了隱私與便捷。
LMEval 具備增量評估功能，無需在新增模型或問題時重新運行整個測試，僅執行必要的新增測試即可，并采用多線程引擎并行處理多項計算，有效降低了計算成本和時間消耗。
谷歌還開發了 LMEvalboard 可視化工具，通過雷達圖展示模型在不同類別中的表現。用戶可深入查看具體任務，精準定位模型錯誤，并直接比較多個模型在特定問題上的差異，圖形化展示一目了然。
本文鏈接：http://www.www897cc.com/showinfo-45-13257-0.html谷歌發布開源 LMEval 框架：打破 AI 模型比較壁壘，降低評測成本和時間
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號