5月29日消息，開源語(yǔ)言模型的發(fā)展取得了令人矚目的進(jìn)步。然而，對(duì)于這些開源模型是否能夠與來(lái)自O(shè)penAI、谷歌和其他公司的經(jīng)過精心訓(xùn)練的語(yǔ)言模型競(jìng)爭(zhēng)，存在一些爭(zhēng)議。ANa28資訊網(wǎng)——每日最新資訊28at.com

據(jù)先前報(bào)道，使用Alpaca Formula訓(xùn)練的開源語(yǔ)言模型幾乎不需要耗費(fèi)大量時(shí)間和資源，就能夠達(dá)到類似于ChatGPT的水平。AlpacaFormula是指開發(fā)者利用ChatGPT生成的訓(xùn)練數(shù)據(jù)來(lái)微調(diào)meta語(yǔ)言模型LLaMA。通過使用這些數(shù)據(jù)，LLaMA模型能夠在短時(shí)間內(nèi)學(xué)習(xí)生成與ChatGPT相似的輸出，且所需計(jì)算資源較少。ANa28資訊網(wǎng)——每日最新資訊28at.com

然而，最近伯克利大學(xué)的研究人員對(duì)此進(jìn)行了不同的研究。他們使用AlpacaFormula對(duì)LLaMA和GPT-2的一些基礎(chǔ)模型進(jìn)行了實(shí)驗(yàn)，并請(qǐng)人工評(píng)估這些結(jié)果，同時(shí)還使用GPT-4進(jìn)行自動(dòng)評(píng)估。ANa28資訊網(wǎng)——每日最新資訊28at.com

初步結(jié)果與之前的開發(fā)者所得出的結(jié)論相似：改進(jìn)過的模仿模型在展示模仿數(shù)據(jù)的任務(wù)中的性能遠(yuǎn)超基礎(chǔ)模型，與ChatGPT相當(dāng)。ANa28資訊網(wǎng)——每日最新資訊28at.com

然而，更加有針對(duì)性的自動(dòng)評(píng)估顯示，這些模仿模型實(shí)際上只在已見過的模仿數(shù)據(jù)的任務(wù)中表現(xiàn)良好。在其他領(lǐng)域中，與GPT-4相比，仍然存在明顯的性能差距。這是因?yàn)檫@些基礎(chǔ)模型在廣泛的預(yù)訓(xùn)練過程中獲取了大部分功能，而非微調(diào)階段所獲得的。ANa28資訊網(wǎng)——每日最新資訊28at.com

研究人員指出，進(jìn)行這種評(píng)估的工作者常常在短時(shí)間內(nèi)對(duì)人工智能內(nèi)容進(jìn)行評(píng)估，而缺乏相關(guān)專業(yè)知識(shí)，容易被誤導(dǎo)。ANa28資訊網(wǎng)——每日最新資訊28at.com

值得注意的是，OpenAI的研究員約翰舒爾曼最近批評(píng)了使用ChatGPT數(shù)據(jù)來(lái)微調(diào)開源基礎(chǔ)語(yǔ)言模型的做法。他指出，如果微調(diào)數(shù)據(jù)集中包含了原始模型中未包含的知識(shí)，那么這些模型可能會(huì)產(chǎn)生更多不準(zhǔn)確的內(nèi)容。ANa28資訊網(wǎng)——每日最新資訊28at.com

綜上所述，雖然開源語(yǔ)言模型的進(jìn)步不容忽視，但在與OpenAI、谷歌和其他公司訓(xùn)練有素的語(yǔ)言模型進(jìn)行競(jìng)爭(zhēng)時(shí)，仍然存在一定的差距。對(duì)于開源模型的評(píng)估需要更加準(zhǔn)確和全面，以充分了解其性能和局限性。ANa28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-1326-0.htmlAlpaca Formula微調(diào)模型研究爭(zhēng)議：開源模型與ChatGPT存在性能差距

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 大腦信號(hào)轉(zhuǎn)化為高質(zhì)量視頻：MinD-Video技術(shù)引發(fā)研究熱潮

下一篇： 英偉達(dá)推出定制AI模型代工服務(wù)ACE for Games，開啟游戲創(chuàng)新新時(shí)代