日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

GPT-4 整治學術不端:人大 浙大團隊實測 7000 篇論文,撤稿預測與人類 95% 一致

來源: 責編: 時間:2024-04-23 17:58:06 192觀看
導讀 【新智元導讀】人大與浙大學者發現,GPT-4 對于論文給出的撤稿預測結果,竟然和人類審稿人有將近 95% 的相似性。看來大模型雖然有可能引發學術不端,但也有辦法維護科研誠信啊。學術論文的撤稿事件時有發生,這不僅

【新智元導讀】人大與浙大學者發現,GPT-4 對于論文給出的撤稿預測結果,竟然和人類審稿人有將近 95% 的相似性。看來大模型雖然有可能引發學術不端,但也有辦法維護科研誠信啊。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

學術論文的撤稿事件時有發生,這不僅損害了科研誠信,也可能對公眾信任和科學進展產生負面影響。gci28資訊網——每日最新資訊28at.com

傳統上,學術界依賴同行評審和出版后的讀者反饋來識別和糾正問題論文,但這些方法可能無法及時發現所有問題,尤其是在當前科研論文出版數量急劇增加的背景下。gci28資訊網——每日最新資訊28at.com

在這種情況下,如何快速識別存在問題的論文,并促進它們的撤稿,成了學術界亟待解決的一個難題。gci28資訊網——每日最新資訊28at.com

最近,來自中國人民大學和浙江大學等機構的研究者把涉及數千篇 SCI / SSCI 的期刊論文的一萬多條推文喂給了 GPT-4,讓它根據推文回答這篇論文是否有可能被撤稿,然后和人類預測的結果相比較。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

論文地址:https://arxiv.org/abs/2403.16851gci28資訊網——每日最新資訊28at.com

結果,GPT-4 幾乎完美地勝任了這項工作,預測結果有近 95% 和人工預測結果一致!gci28資訊網——每日最新資訊28at.com

論文作者 Er-Te Zheng 總結道:大模型雖然有可能引發學術不端,但在另一方面也能夠幫助識別問題論文并預測其撤稿,維護科研誠信。因此,將 AI 工具應用于學術研究問題的關鍵,在于 AI 工具如何為人類所使用。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

推文能預測論文撤稿嗎?

作為 ChatGPT 預測的基礎,研究首先探索了推文本身能否預測撤稿。我們都知道,有許多問題論文首先在推特上被曝光,然后才被撤稿。比如用 AI 畫小鼠插圖的這篇「著名」論文。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

為探索推文本身能否預測撤稿,研究搜集了一組包含 3505 篇撤稿論文的數據集,并采用粗略精確匹配方法獲得的具有相似特征的 3505 篇未撤稿論文。gci28資訊網——每日最新資訊28at.com

這些特征包括發表期刊、發表年份、作者數量和推文數量。通過推特 API 收集了上述 7010 篇論文的推文數據,包括推文發布日期和文本內容。gci28資訊網——每日最新資訊28at.com

篩選出在論文撤稿前發布的推文后,研究最終共搜集到 8367 條涉及撤稿論文的英文推文和 6180 條涉及未撤稿論文的英文推文。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

研究將推文分為訓練集和測試集,在訓練集上訓練模型,并在測試集上驗證關鍵詞方法、機器學習模型和 ChatGPT 的預測結果情況。研究使用人工預測結果(研究者根據推文預測論文撤稿情況)作為主要基準之一,用以衡量模型與人工方法的一致性情況。gci28資訊網——每日最新資訊28at.com

作為研究基準的人工預測結果顯示,人類若認為推文暗示論文存在問題,則推文涉及的這篇論文有高達約 93% 的幾率會被撤稿(精確率≈93%),這說明部分推文的確能夠預測論文撤稿;不過,像這樣能通過推文被人工預測出撤稿的論文的總體占比不高,約占所有撤稿論文的 16%(召回率≈16%)。gci28資訊網——每日最新資訊28at.com

因此,盡管只有一小部分撤稿論文的相關推文在論文撤稿前含有了可識別的問題信號,但這些信號確實存在。gci28資訊網——每日最新資訊28at.com

研究者觀察到,能夠有效預測論文撤稿的批評性推文有兩種類型:第一種直接突出論文中的錯誤或學術不端行為;第二種使用批評或諷刺的方式來突出論文的質量存疑。gci28資訊網——每日最新資訊28at.com

這些推文能夠促使期刊對論文進行調查,如果調查證實了推文中提到的問題的存在和嚴重性,論文隨后可能會被撤稿。在這種情況下,批評性推文可以作為撤稿論文的催化劑,強調了將其納入研究誠信的早期預警系統的價值。gci28資訊網——每日最新資訊28at.com

ChatGPT 能預測論文撤稿嗎?

既然發現推文具有預測論文撤稿的潛力,研究進一步探索了關鍵詞方法、機器學習模型和 ChatGPT 在根據推文來預測論文撤稿方面的潛力,將各模型的預測結果與人工預測結果進行比較。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

研究表明,GPT-4 的總體預測結果(包含撤稿預測和非撤稿預測)與人工預測結果的一致性最高,高達約 95%!gci28資訊網——每日最新資訊28at.com

其次是 GPT-3.5 和 SVM 模型,其一致性超過 80%。而關鍵詞方法與其他機器學習模型的一致性則在 46%-64% 之間,預測效果一般。gci28資訊網——每日最新資訊28at.com

在精確率方面,同樣是 GPT-4 的精確率最高:GPT-4 預測會撤稿的論文中,近 70% 的在人工預測中同樣會撤稿。而其他模型的預測精確率均遠低于 GPT-4。gci28資訊網——每日最新資訊28at.com

圖中進一步顯示了不同模型預測結果與人工預測結果的比較。關鍵詞方法和三種機器學習模型(LR、RF 和 NB)將大量人工無法判定為撤稿的論文歸為撤稿(過擬合率高)。gci28資訊網——每日最新資訊28at.com

相比而言,GPT-4 的預測結果最接近于人工預測的結果:絕大部分 GPT-4 預測為撤稿的論文,人工預測也為撤稿,絕大部分 GPT-4 預測為非撤稿的論文,人工預測同樣為非撤稿。gci28資訊網——每日最新資訊28at.com

ChatGPT 預測論文撤稿的實例

與其他方法相比,ChatGPT 還有一個重要的優勢 —— 它能夠為其預測提供理由,而其他方法則無法詳細解釋其決策。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

例如,從樣本論文中可以看出,ChatGPT 對推文有深刻的理解,并能準確提取可能預測論文撤稿的信息,為使用推文評估論文是否存在潛在問題提供了寶貴的幫助。gci28資訊網——每日最新資訊28at.com

例如:gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

然而,也要注意到 ChatGPT 有時存在「幻覺」問題,可能會產生不恰當的輸出,因此在使用時需要謹慎,并考慮到其可能的錯誤預測。gci28資訊網——每日最新資訊28at.com

例如:gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

樣例論文 3 中,相關推文是對這篇論文的評價,暗示該論文指出諾獎得主的某篇論文存在問題。gci28資訊網——每日最新資訊28at.com

然而,ChatGPT 將樣例論文 3 誤以為是被撤稿的諾獎得主的相關工作,因此這篇論文可能被撤稿。此處的分析結果表明,ChatGPT 存在一定的邏輯推理謬誤與過度解讀等問題。gci28資訊網——每日最新資訊28at.com

因此,ChatGPT 雖然能夠通過推文從一定程度上預測論文撤稿,與人工預測的一致性在各模型中表現最好。但其在當前并非完美,在未來仍有長足的改進空間。gci28資訊網——每日最新資訊28at.com

研究收到了著名學術不端數據庫撤稿觀察的轉發,網友們表示,ChatGPT 還能用來預測論文撤稿?真是從未設想過的道路。「我還以為沒有足夠多的數據來支撐這一結論呢!」gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

「ChatGPT 可以根據推特提及來預測論文撤稿嗎?顯然可以!請看這項研究……」gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

總體而言,研究揭示了社交媒體討論作為論文撤稿早期預警的潛力,同時也展示了 ChatGPT 等生成式人工智能在促進科研誠信方面的潛在應用。gci28資訊網——每日最新資訊28at.com

作者介紹

Er-Te Zheng(鄭爾特)gci28資訊網——每日最新資訊28at.com

Er-Te Zheng 是中國人民大學信息資源管理學院的碩士生,由 Zhichao Fang 助理教授指導;在浙江大學獲得管理學學士學位,師從 Hui-Zhen Fu 副教授。未來將前往英國謝菲爾德大學信息學院攻博,師從信息計量學首席專家 Mike Thelwall 教授。他的研究方向涉及計算社會科學、科學學和科學計量。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

Hui-Zhen Fu(付慧真)gci28資訊網——每日最新資訊28at.com

Hui-Zhen Fu 是浙江大學公共管理學院信息資源管理系副教授,北京大學博士。擔任信息資源管理研究所副所長,荷蘭萊頓大學科學技術研究中心(CWTS)訪問學者。在國際權威刊物發表論文超過 40 篇(SCI / SSCI),連續四年(2020-2023)入選愛思唯爾中國高被引學者榜單。她的研究方向為交叉科學、科學計量、科研誠信和科研管理。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

Zhichao Fang(方志超)gci28資訊網——每日最新資訊28at.com

Zhichao Fang 是中國人民大學信息資源管理學院助理教授,荷蘭萊頓大學科學與技術研究中心(CWTS)博士,萊頓大學 CWTS 客座研究員,伊朗波斯灣大學社交媒體數據研究組成員。在科學計量學與科技政策等領域發表 SCI / SSCI 論文 20 篇,多項研究成果受到 Science 雜志等權威學術媒體采訪報導。他的研究方向為科學學、科學計量和社交媒體計量學。gci28資訊網——每日最新資訊28at.com

gci28資訊網——每日最新資訊28at.com

參考資料:gci28資訊網——每日最新資訊28at.com

https://arxiv.org/abs/2403.16851gci28資訊網——每日最新資訊28at.com

本文來自微信公眾號:新智元 (ID:AI_era)gci28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-4064-0.htmlGPT-4 整治學術不端:人大 浙大團隊實測 7000 篇論文,撤稿預測與人類 95% 一致

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 三星 Galaxy AI 即將支持粵語、阿拉伯語等更多語言

下一篇: OpenAI 在東京開設亞洲首個辦事處,將發布日語優化型 GPT-4 模型

標簽:
  • 熱門焦點
  • 這一超級富豪“逆襲”,身價大增4330億

    來源:侃見財經互聯網的突圍沒有“終點”。在快節奏的商業環境下,不斷的試錯成了互聯網企業的標配,一年一個風口,一個風口造就一個熱點,但是回頭來看,最終受益的還是身處
  • 虛擬人再升級,企業可以解放雙手了?

    來源:伯虎財經今天想跟大家來嘮嘮AI,其實聊到這個話題很多人都不陌生了。在ChatGPT和AIGC大熱背后,還有一位低調的“大佬”——虛擬人。比如咱們熟知的虛
  • 在元宇宙賣酸奶,這波聯動燃爆了!

    來源:品牌頭版 或許,每個人心中都住著一個小饞孩。可能是童年時百吃不厭,覺得新奇又有趣的跳跳糖;可能是味道香甜,咬下一口嘎嘣脆的扁桃仁;還有可能,是某種不知為什么,就是很愛吃的
  • 從科幻走進現實,元宇宙概念逐漸清晰

    2021年,元宇宙概念如同一顆炸彈投進互聯網行業,掀起了一場數字海嘯,眾多企業紛紛入局,在此新領域展開新探索。那么,加速狂奔的元宇宙究竟是什么?概念翻紅,元宇宙走進資本圈2021年3
  • AI特效、虛擬人、數字盲盒,來看看元宇宙如何融合冬奧會!

    今天是冬奧會比賽的第12天,截至目前所累計的成績,中國代表團已經取得了冬奧歷史最佳戰績。全世界的人都在關注著這場盛事,為奧運健兒吶喊助威。谷愛凌、徐夢桃、
  • 美國一區塊鏈風投公司宣布成立2.5億美元web3投資新基金

    No.1 俄羅斯財政部長: 在俄羅斯禁止比特幣就如禁止互聯網一樣2月16日消息,俄羅斯財政部長安東·西盧安諾夫(Anton Siluanov)表示,在俄羅斯禁止加密貨幣就跟禁止互
  • 從冰墩墩到無聊猿,解秘未來IP爆款的模因

    打造IP,是建設元宇宙的剛需。NFT能直接讓IP的價值變現;虛擬人IP是元宇宙的第一入口,而元宇宙要搭建的,就是一個個品牌IP星球,考驗的是IP世界觀的建設能力。如果說在
  • 在元宇宙開會是什么樣一種體驗

    空間就是一切還記得面對面的會議嗎?就在不久前,與會者需要飛到遙遠的目的地,并進行鼓舞人心的對話、網絡、免費食物,甚至可能會有一兩個很好的小組討論。隨之而來
  • NFT行業周報:NBA巨星勒布朗·詹姆斯申請NFT相關商標

    1. “無聊猿”BAYC交易總額突破14億美元3月10日,據DappRader最新數據顯示,“無聊猿”Bored Ape Yacht Club(BAYC)交易總額已突破14億美元,創下歷史新高,本文撰寫時為
Top 主站蜘蛛池模板: 大竹县| 茂名市| 黔江区| 宁河县| 日喀则市| 进贤县| 南雄市| 秦皇岛市| 凤山市| 九寨沟县| 阿瓦提县| 贺州市| 微博| 息烽县| 云梦县| 定日县| 宁国市| 开化县| 江西省| 利辛县| 宁波市| 从化市| 安乡县| 寿光市| 波密县| 兰溪市| 永丰县| 泰顺县| 灯塔市| 清苑县| 巴楚县| 利辛县| 灯塔市| 金湖县| 海原县| 邵阳县| 宜宾市| 新绛县| 德格县| 行唐县| 焉耆|