9 月 24 日消息，科技媒體 marktechpost 昨日（9 月 23 日）發(fā)布博文，報道稱 OpenAI 在 Hugging Face 上發(fā)布了多語言大規(guī)模多任務語言理解（MMMLU）數(shù)據(jù)集。IDj28資訊網(wǎng)——每日最新資訊28at.com

隨著語言模型日益強大，評估其在不同語言、認知和文化背景下的能力已成為當務之急。IDj28資訊網(wǎng)——每日最新資訊28at.com

OpenAI 決定推出 MMMLU 數(shù)據(jù)集，通過提供強大的多語言和多任務數(shù)據(jù)集，來評估大型語言模型（LLMs）在各種任務中的性能，從而應對這一挑戰(zhàn)。IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集包含一系列問題，涵蓋各種主題、學科領域和語言。其結(jié)構旨在評估模型在不同研究領域中需要常識、推理、解決問題和理解能力的任務中的表現(xiàn)。IDj28資訊網(wǎng)——每日最新資訊28at.com

IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的創(chuàng)建反映了 OpenAI 對測量模型實際能力的關注，尤其是在 NLP 研究中代表性不足的語言，納入多種語言可確保模型在使用英語時有效，并能勝任全球使用的其他語言。IDj28資訊網(wǎng)——每日最新資訊28at.com

涵蓋范圍廣IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集是同類基準中最廣泛的基準之一，涵蓋了從高中問題到高級專業(yè)和學術知識的多種任務。IDj28資訊網(wǎng)——每日最新資訊28at.com

研究人員和開發(fā)人員在利用 MMMLU 數(shù)據(jù)集過程中，可以調(diào)用不同難度的問題，測試大預言模型在人文、科學和技術主題下的表現(xiàn)。IDj28資訊網(wǎng)——每日最新資訊28at.com

更考驗深層認知IDj28資訊網(wǎng)——每日最新資訊28at.com

這些問題都經(jīng)過精心策劃，以確保對模型的測試不局限于表面理解，而是深入研究更深層次的認知能力，包括批判性推理、解釋和跨領域解決問題的能力。IDj28資訊網(wǎng)——每日最新資訊28at.com

多語言支持IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 數(shù)據(jù)集的另一個值得注意的特點是它的多語言范圍，支持簡體中文。該數(shù)據(jù)集支持多種語言，可以進行跨語言的綜合評估。IDj28資訊網(wǎng)——每日最新資訊28at.com

IDj28資訊網(wǎng)——每日最新資訊28at.com

然而，以英語數(shù)據(jù)訓練的模型在使用其他語言時往往需要幫助來保持準確性和連貫性。MMMLU 數(shù)據(jù)集提供了一個框架，用于測試傳統(tǒng)上在 NLP 研究中代表性不足的語言模型，從而彌補了這一差距。IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的發(fā)布解決了人工智能界的幾個相關挑戰(zhàn)。它提供了一種更具多樣性和文化包容性的方法來評估模型，確保它們在高資源和低資源語言中都能表現(xiàn)出色。IDj28資訊網(wǎng)——每日最新資訊28at.com

MMMLU 的多任務特性突破了現(xiàn)有基準的界限，它可以評估同一模型在不同任務中的表現(xiàn)，從類似瑣事的事實回憶到復雜的推理和問題解決。這樣就能更細致地了解模型在不同領域的優(yōu)缺點。IDj28資訊網(wǎng)——每日最新資訊28at.com

附上參考地址IDj28資訊網(wǎng)——每日最新資訊28at.com

Multilingual Massive Multitask Language Understanding (MMMLU) datasetIDj28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-7762-0.htmlOpenAI 發(fā)布 MMMLU 數(shù)據(jù)集：更廣、更深評估 AI 模型，支持簡體中文

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 全球首個 AI 自動水下潛航器開始測試，海上風電場檢查時間可縮短 50%

下一篇： 谷歌 Gemini 1.5 AI 模型再進化：成本更低、性能更強、響應更快