新華社北京7月25日電　對(duì)于人工智能（AI）大語(yǔ)言模型來(lái)說(shuō)，通常給予的訓(xùn)練數(shù)據(jù)越多，模型就會(huì)越“聰明”。但英國(guó)《自然》雜志新發(fā)表的一項(xiàng)關(guān)于大模型的研究顯示，如果只用AI生成的數(shù)據(jù)來(lái)訓(xùn)練大模型，會(huì)使模型性能下降、越練越“傻”。z4328資訊網(wǎng)——每日最新資訊28at.com

　　英國(guó)牛津大學(xué)、劍橋大學(xué)等機(jī)構(gòu)研究人員發(fā)現(xiàn)，如果在訓(xùn)練大模型時(shí)，只用AI生成的內(nèi)容，會(huì)導(dǎo)致大模型出現(xiàn)不可逆的缺陷，逐漸忘記真實(shí)數(shù)據(jù)的分布，這被稱為“模型崩潰”。z4328資訊網(wǎng)——每日最新資訊28at.com

　　研究人員首先使用大語(yǔ)言模型創(chuàng)建類似維基百科詞條的文本，然后利用這個(gè)內(nèi)容來(lái)訓(xùn)練該模型的新版本，并反復(fù)使用前代模型生成的文本訓(xùn)練更新的版本。隨著AI生成的信息“污染”訓(xùn)練集，模型的輸出逐漸失去意義。在模型的第九次迭代中，它完成了一篇關(guān)于英國(guó)教堂塔樓的文章，其中一段文字卻在講述野兔尾巴的多種顏色。z4328資訊網(wǎng)——每日最新資訊28at.com

　　研究發(fā)現(xiàn)，導(dǎo)致“模型崩潰”的重要原因是，由于模型只能從其訓(xùn)練數(shù)據(jù)中采樣，一些在第一代數(shù)據(jù)中本就低頻出現(xiàn)的詞匯，在每次迭代后出現(xiàn)的頻率變得更低，而一些常見詞匯出現(xiàn)的頻率則逐漸增加。z4328資訊網(wǎng)——每日最新資訊28at.com

　　這種變化的結(jié)果就是，模型逐漸無(wú)法正確模擬真實(shí)世界的復(fù)雜性。隨著時(shí)間推移，這種錯(cuò)誤會(huì)在迭代中被層層累積、逐漸放大，最終導(dǎo)致“模型崩潰”。這有點(diǎn)像生物學(xué)中“近親繁殖”會(huì)導(dǎo)致后代缺陷，如果不能保證基因庫(kù)的多樣性，最終會(huì)導(dǎo)致一個(gè)物種的崩潰。z4328資訊網(wǎng)——每日最新資訊28at.com

　　研究人員還發(fā)現(xiàn)，由于訓(xùn)練數(shù)據(jù)被“污染”而導(dǎo)致“模型崩潰”的情況不止發(fā)生在大語(yǔ)言模型中，高斯混合模型、圖片生成器等也可能出現(xiàn)類似情況。z4328資訊網(wǎng)——每日最新資訊28at.com

　　不過(guò)，應(yīng)對(duì)“模型崩潰”并非束手無(wú)策。研究人員發(fā)現(xiàn)，如果能在模型微調(diào)過(guò)程中保留10%左右的真實(shí)數(shù)據(jù)，崩潰就會(huì)發(fā)生得更緩慢。還可使用水印技術(shù)，將AI生成的數(shù)據(jù)與真實(shí)數(shù)據(jù)區(qū)分開來(lái)，這需要大型科技公司的協(xié)作。此外，在AI生成的文本重新進(jìn)入數(shù)據(jù)池之前，可由人類先篩選過(guò)濾。z4328資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-16-103658-0.html用AI訓(xùn)練AI，可能越練越“傻”

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 我國(guó)學(xué)者合成新分子大幅提升鈣鈦礦電池穩(wěn)定性

下一篇： 公共空間直播：要流量也要守底線