不同于傳統(tǒng)數(shù)字經(jīng)濟，元宇宙賦予商業(yè)生態(tài)更多數(shù)字資產(chǎn)價值！
作者：中科基大數(shù)據(jù)元宇宙是一個去中心化的開放平臺，而為了維護這樣的平臺，需要建立一個公平的游戲規(guī)則，確保每個元宇宙的參與者通過這個規(guī)則都可以掙到錢，他們的利益都可以得到保
10 月 31 日消息，當(dāng)?shù)貢r間 30 日，OpenAI 宣布，為了衡量語言模型的準(zhǔn)確性，將開源一個名為 SimpleQA 的新基準(zhǔn)，可衡量語言模型回答簡短的事實尋求（fact-seeking）問題的能力。
AI 領(lǐng)域中的一個開放性難題是如何訓(xùn)練模型生成事實正確的回答。當(dāng)前的語言模型有時會產(chǎn)生錯誤輸出或未經(jīng)證實的答案，這一問題被稱為“幻覺”。能夠生成更準(zhǔn)確、更少幻覺的回答的語言模型更為可靠，可以用于更廣泛的應(yīng)用領(lǐng)域。
OpenAI 表示，目標(biāo)是使用 SimpleQA 創(chuàng)建一個具備以下特點的數(shù)據(jù)集：
高正確性：問題的參考答案由兩名獨立的 AI 訓(xùn)練師驗證，以確保評分的公正性。
多樣性：SimpleQA 涵蓋廣泛主題，從科學(xué)技術(shù)到電視節(jié)目與電子游戲應(yīng)有盡有。
前沿挑戰(zhàn)性：與 TriviaQA（2017 年）或 NQ（2019 年）等早期基準(zhǔn)相比，SimpleQA 更具挑戰(zhàn)性，尤其針對如 GPT-4o 等前沿模型（例如，GPT-4o 的得分不足 40%）。
高效用戶體驗：SimpleQA 問題與答案簡潔明了，使操作快速高效，并可通過 OpenAI API 等進行快速評分。此外，包含 4326 道問題的 SimpleQA 在評估中應(yīng)具有較低的方差。
SimpleQA 將是一個簡單但具有挑戰(zhàn)性的基準(zhǔn)，用于評估前沿模型的事實準(zhǔn)確性。SimpleQA 的主要限制在于其范圍 —— 盡管 SimpleQA 準(zhǔn)確，但它只在短查詢的受限設(shè)置中測量事實準(zhǔn)確性，這些查詢是事實導(dǎo)向的，并且有一個可驗證的答案。
OpenAI 表示，模型在短回答中表現(xiàn)出的事實性是否與其在長篇、多事實內(nèi)容中的表現(xiàn)相關(guān)，這仍是個懸而未決的研究課題。其希望 SimpleQA 的開源能夠進一步推動 AI 研究的發(fā)展，使模型更加可信并富有可靠性。
附有關(guān)地址：
開源鏈接：https://github.com/openai/simple-evals/
論文：https://cdn.openai.com/papers/simpleqa.pdf
本文鏈接：http://www.www897cc.com/showinfo-45-9377-0.htmlOpenAI 開源 SimpleQA 新基準(zhǔn)，專治大模型“胡言亂語”
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 扎克伯格押注 AI：Meta 正推動美國政府使用其 Llama 模型
下一篇： 全球首個開源 AI 標(biāo)準(zhǔn)發(fā)布，微軟、谷歌、亞馬遜、Meta、英特爾、三星等巨頭制定
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號