三院士三教授熱聊元宇宙&——AIGC，學(xué)術(shù)界怎么看？
來源：清元宇宙在近日舉辦的中國(guó)江寧2023元宇宙產(chǎn)業(yè)·人才高峰論壇暨AIGC發(fā)展大會(huì)上，中國(guó)工程院院士譚建榮、劉韻潔、鄭緯民出席并發(fā)表了主旨演講。除了三大院士，還有清華
斯坦福大學(xué)、特拉維夫大學(xué)與麥吉爾大學(xué)的研究團(tuán)隊(duì)近日在人工智能領(lǐng)域取得重要進(jìn)展，他們開發(fā)的LMEnt研究套件首次實(shí)現(xiàn)了對(duì)AI語言模型訓(xùn)練過程的精細(xì)化追蹤。這項(xiàng)突破性成果不僅為理解AI知識(shí)獲取機(jī)制提供了新工具，更可能重塑未來語言模型的構(gòu)建方式。
傳統(tǒng)研究如同觀察學(xué)生考試結(jié)果，只能判斷其最終掌握程度，卻無法知曉學(xué)習(xí)過程中的具體細(xì)節(jié)。LMEnt系統(tǒng)的出現(xiàn)，相當(dāng)于為AI訓(xùn)練安裝了"教學(xué)監(jiān)控"，能夠精確記錄模型在接觸每個(gè)文本塊時(shí)獲得的知識(shí)。研究團(tuán)隊(duì)通過三個(gè)創(chuàng)新模塊，構(gòu)建起這個(gè)前所未有的"知識(shí)追蹤系統(tǒng)"。
在數(shù)據(jù)標(biāo)注層面，研究人員對(duì)維基百科進(jìn)行了革命性改造。他們?yōu)槊總€(gè)實(shí)體分配Wikidata的QID編碼，相當(dāng)于建立精確的"身份識(shí)別系統(tǒng)"。當(dāng)搜索"布法羅"時(shí)，系統(tǒng)能準(zhǔn)確區(qū)分布法羅市、布法羅比爾隊(duì)和布法羅動(dòng)物的相關(guān)信息。這種精確性得益于三重技術(shù)保障：直接提取現(xiàn)有超鏈接、實(shí)體鏈接識(shí)別和共指消解技術(shù)。實(shí)驗(yàn)顯示，系統(tǒng)能識(shí)別Josh Allen頁面中"這支球隊(duì)"、"the Bills"等23種間接指代方式。
信息檢索模塊的突破更為顯著。研究團(tuán)隊(duì)構(gòu)建的Elasticsearch索引包含1050萬個(gè)文本塊，每個(gè)都標(biāo)注了實(shí)體及其置信度。與傳統(tǒng)關(guān)鍵詞檢索相比，這個(gè)系統(tǒng)如同通曉各種暗語的資深圖書管理員。測(cè)試數(shù)據(jù)顯示，其能為66.3%至80.4%的實(shí)體找到更多相關(guān)信息，準(zhǔn)確率始終保持在97%以上，而傳統(tǒng)方法在檢索范圍擴(kuò)大時(shí)準(zhǔn)確率會(huì)驟降至27%。
訓(xùn)練過程追蹤模塊則創(chuàng)造了獨(dú)特的"AI成長(zhǎng)日記"。研究團(tuán)隊(duì)訓(xùn)練了12個(gè)不同規(guī)模的模型（參數(shù)從1.7億到10億），保存了每個(gè)模型的110個(gè)訓(xùn)練檢查點(diǎn)。這些模型在PopQA知識(shí)問答測(cè)試中表現(xiàn)優(yōu)異，10億參數(shù)模型達(dá)到66%的準(zhǔn)確率，與Pythia-1.4B等主流模型持平。更關(guān)鍵的是，通過分析這些中間狀態(tài)，研究人員發(fā)現(xiàn)了AI知識(shí)獲取的獨(dú)特規(guī)律。
研究發(fā)現(xiàn)，模型的知識(shí)掌握與訓(xùn)練數(shù)據(jù)中的"共現(xiàn)頻率"密切相關(guān)。當(dāng)某個(gè)問題的主體和答案頻繁出現(xiàn)在同一文本塊時(shí)，模型回答正確的概率顯著提高。但高頻事實(shí)的學(xué)習(xí)過程呈現(xiàn)波動(dòng)特征：模型可能在某個(gè)階段掌握知識(shí)，后續(xù)訓(xùn)練中又暫時(shí)遺忘，最終再次學(xué)會(huì)。這種"學(xué)會(huì)-遺忘-再學(xué)會(huì)"的循環(huán)在高頻知識(shí)上尤為明顯。
這項(xiàng)研究開辟了多個(gè)應(yīng)用方向。在知識(shí)可塑性研究中，研究人員可以確定模型最易接受新知識(shí)的訓(xùn)練階段；在事實(shí)準(zhǔn)確性改進(jìn)方面，通過優(yōu)化訓(xùn)練數(shù)據(jù)排列順序或替換模糊指代，能顯著提升模型表現(xiàn)；機(jī)械可解釋性研究則借助訓(xùn)練過程的透明度，觀察知識(shí)在神經(jīng)網(wǎng)絡(luò)中的構(gòu)建過程。
盡管當(dāng)前研究主要基于維基百科語料庫，且模型規(guī)模最大為10億參數(shù)，但研究團(tuán)隊(duì)已規(guī)劃擴(kuò)展方向。他們計(jì)劃將標(biāo)注方法應(yīng)用于更多類型語料庫，并研究知識(shí)在整個(gè)訓(xùn)練流程中的演變。正如論文所述，LMEnt為理解AI內(nèi)部機(jī)制提供了全新視角，其建立的精確追蹤體系將成為后續(xù)研究的重要基準(zhǔn)。
Q&A環(huán)節(jié)
問：LMEnt系統(tǒng)與傳統(tǒng)研究方法有何本質(zhì)區(qū)別？答：傳統(tǒng)方法只能觀察AI模型的最終表現(xiàn)，如同通過考試成績(jī)判斷學(xué)生水平。LMEnt則能記錄訓(xùn)練全過程的每個(gè)知識(shí)獲取瞬間，包括何時(shí)、從哪個(gè)文本塊學(xué)到了什么具體信息，實(shí)現(xiàn)了對(duì)AI學(xué)習(xí)過程的動(dòng)態(tài)追蹤。
問：檢索系統(tǒng)的精確性體現(xiàn)在哪些具體場(chǎng)景？答：以搜索"蘋果"為例，傳統(tǒng)方法可能混淆蘋果公司、水果和蘋果唱片的信息。LMEnt系統(tǒng)能準(zhǔn)確區(qū)分不同語境下的指代，甚至識(shí)別"這家科技巨頭"、"水果"、"唱片公司"等間接表述，確保檢索結(jié)果的相關(guān)性和準(zhǔn)確性。
問：高頻知識(shí)的學(xué)習(xí)波動(dòng)現(xiàn)象有何實(shí)際意義？答：這一發(fā)現(xiàn)改變了我們對(duì)AI學(xué)習(xí)機(jī)制的認(rèn)知。它表明AI并非簡(jiǎn)單積累知識(shí)，而是經(jīng)歷復(fù)雜的動(dòng)態(tài)過程。理解這種波動(dòng)模式，有助于優(yōu)化訓(xùn)練策略，比如在高遺忘風(fēng)險(xiǎn)階段加強(qiáng)復(fù)習(xí)，或調(diào)整數(shù)據(jù)呈現(xiàn)方式以提高知識(shí)保留率。
更多>同類資訊AI搜索的數(shù)學(xué)邊界：當(dāng)最強(qiáng)大模型遇上"簡(jiǎn)單問題"的隱秘困局09-23中科院團(tuán)隊(duì)創(chuàng)新CARVE法：破解AI視覺“分心”難題，助模型精準(zhǔn)聚焦09-23Plaud攜三款A(yù)I紀(jì)要新品入局大陸市場(chǎng)，多模態(tài)交互與長(zhǎng)續(xù)航成亮點(diǎn)09-23DeepSeek線上模型升級(jí)至V3.1-Terminus，輸出更穩(wěn)Agent能力再提升09-23DeepSeek-V3.1升級(jí)至V3.1-Terminus：語言更一致，代理更強(qiáng)大，輸出更穩(wěn)定09-23上海人工智能實(shí)驗(yàn)室牽頭！科學(xué)智能戰(zhàn)略科技力量聯(lián)盟正式成立09-23DeepSeek-V3.1-Terminus發(fā)布：修復(fù)Bug，編程與搜索智能體能力再升級(jí)09-23科學(xué)智能戰(zhàn)略科技力量聯(lián)盟成立 共探AI賦能多學(xué)科創(chuàng)新發(fā)展路徑09-23中國(guó)電信引領(lǐng)6G新突破：首個(gè)6G計(jì)費(fèi)項(xiàng)目獲3GPP正式批準(zhǔn)09-23DeepSeek-V3.1-Terminus更新登場(chǎng)！修復(fù)關(guān)鍵Bug，Agent能力躍升，V4還會(huì)遠(yuǎn)嗎？09-23百度智能云千帆開源Qianfan-VL視覺模型，多尺寸適配，全自研芯片賦能高效計(jì)算09-23人工智能投資新視角：大模型進(jìn)階智能體，場(chǎng)景化應(yīng)用前景展望今天分享的是：人工智能專題：從大模型到智能體——人工智能+場(chǎng)景的投資展望 報(bào)告共計(jì)：31頁 《人工智能專題：從大模型到智能體——人工智能+場(chǎng)景的投資展望》報(bào)告首先探討“什么是真正的人工智能”，指出大語言模型如…09-23京東王競(jìng)凡：智能機(jī)器人高速發(fā)展，中國(guó)機(jī)器人市場(chǎng)2028年或達(dá)千億來源：睿見Economy 9月16日-17日，聚合智能產(chǎn)業(yè)發(fā)展大會(huì)（2025）在武漢市舉行，主題為“協(xié)同融合創(chuàng)新鏈產(chǎn)業(yè)鏈推動(dòng)聚合智能產(chǎn)業(yè)發(fā)展”。 王競(jìng)凡指出，目前智能機(jī)器人處于一個(gè)前所未有的高速發(fā)展道路，智…09-23上海創(chuàng)智學(xué)院周年慶發(fā)布模速空間AI工作站 助力教育大模型終端化應(yīng)用會(huì)上，學(xué)院正式發(fā)布標(biāo)桿成果——模速空間AI工作站，該設(shè)備搭載上?！皢?chuàng)·InnoSpark”人工智能教育大模型，以“端側(cè)算力+教育大模型+場(chǎng)景化應(yīng)用”三位一體架構(gòu)，為教育領(lǐng)域注入智能新動(dòng)能。該工作站由英和智臨…09-23國(guó)內(nèi)AI大模型邁向“用起來”階段，央（國(guó)）企集約共享大模型前景與挑戰(zhàn)并存通信世界網(wǎng)消息（CWW）目前，國(guó)內(nèi)AI大模型產(chǎn)業(yè)正從“百模大戰(zhàn)”的“建起來”階段，向“行業(yè)爆發(fā)”的“用起來”階段過渡。權(quán)威機(jī)構(gòu)發(fā)布的數(shù)據(jù)顯示，2025年一季度國(guó)內(nèi)大模型市場(chǎng)規(guī)模預(yù)計(jì)突破495億元人民幣，但AI…09-23點(diǎn)擊查看更多 +全站最新
?9月狹義乘用車零售預(yù)計(jì)達(dá)215萬輛，新能源車滲透率或超58%引關(guān)注?
6.88萬起極狐T1實(shí)測(cè)：空間越級(jí)配置足，小電車市場(chǎng)殺出“全能王”？
?雷軍官宣小米17系列9月25日發(fā)布，盧偉冰稱產(chǎn)品力跨代升級(jí)且對(duì)標(biāo)iPhone17?
?小米17系列9月25日發(fā)布在即，雷軍年度演講《改變》將揭秘芯片與汽車故事?
?雷軍宣布：9月25日小米17系列發(fā)布，同期將舉辦第6次年度演講聊芯片與汽車故事?
小米SU7標(biāo)準(zhǔn)版11.7萬輛召回：OTA升級(jí)背后的智能駕駛安全與行業(yè)新挑戰(zhàn)熱門內(nèi)容
第22屆東博會(huì)AI元素亮眼：數(shù)字智能體引路 機(jī)器人炫技展風(fēng)采
AI云競(jìng)爭(zhēng)下半場(chǎng)：華為以超節(jié)點(diǎn)、企業(yè)Agent等破局，誰能領(lǐng)跑產(chǎn)業(yè)？
2025網(wǎng)安周：每日互動(dòng)劉宇談AI時(shí)代，知識(shí)安全成關(guān)鍵，共筑數(shù)字新未來
中國(guó)大模型DeepSeek首登Nature封面，R1訓(xùn)練成本僅約208萬引關(guān)注
華為全聯(lián)接大會(huì)2025啟幕，發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)與集群
有鹿機(jī)器人+連合直租：以智能租賃模式，開啟高端場(chǎng)景清潔新未來
本文鏈接：http://www.www897cc.com/showinfo-45-27968-0.html斯坦福等高校聯(lián)手：用LMEnt套件追蹤AI語言模型知識(shí)學(xué)習(xí)軌跡
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： DeepSeek-V3.1升級(jí)至Terminus版 優(yōu)化語言一致性及Agent能力
下一篇： AI搜索的數(shù)學(xué)邊界：當(dāng)最強(qiáng)大模型遇上"簡(jiǎn)單問題"的隱秘困局
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)