近期,人工智能領域的快速發展引發了廣泛關注,眾多初創企業紛紛聲稱其AI產品能夠革新工作方式和知識獲取途徑。然而,一項刊登在《皇家學會》期刊上的最新研究卻向這一樂觀趨勢潑了一盆冷水,揭示了新一代AI模型在文本總結方面存在嚴重缺陷,引發業界擔憂。
該研究對市面上十款主流的語言模型(LLM)進行了深入剖析,涉及近五千份科學研究總結的樣本,其中包括ChatGPT-4o、ChatGPT-4.5、DeepSeek以及LLaMA3.370B等知名聊天機器人。研究結果顯示,這些AI模型在提供信息時,有高達73%的概率會忽略掉關鍵信息,這一錯誤率遠高于人類撰寫科學摘要時的表現,甚至是人類的五倍之多。
研究團隊強調,LLM在總結科學文本時,往往會遺漏那些限制研究結論范圍的重要細節,從而導致對原始研究成果的過度解讀。更令人不安的是,隨著聊天機器人的不斷迭代升級,其錯誤率并未如行業巨頭所承諾的那樣呈現下降趨勢,反而呈現出上升趨勢。以ChatGPT為例,在2023年至2025年間,美國青少年對其使用率從13%攀升至26%,但在此期間,舊版ChatGPT-4Turbo遺漏關鍵細節的概率已是原版的2.6倍,而新版ChatGPT-4o更是高達9倍。同樣,meta的LLaMA3.370B新版本相較于舊版,其過度概括的概率也激增了36.4倍。
將大量數據精煉為簡潔明了的幾句話,對于人類而言或許并不困難,因為我們可以憑借豐富的經驗和直觀感受來提煉信息。但對于AI模型而言,這卻是一項極為復雜的任務。特別是在臨床醫療等領域,細節決定成敗,任何微小的遺漏都可能帶來無法挽回的后果。因此,將LLM廣泛應用于各行各業,特別是醫療和工程領域,無疑面臨著巨大的風險和挑戰。
盡管研究也指出,給予LLM的提示會對其回答產生顯著影響,但這一因素是否同樣適用于科學論文的總結,目前仍不得而知,這為未來的研究提供了新的方向。然而,在AI開發者有效解決這些問題之前,人們或許還需要繼續依賴人類撰寫的內容來準確概括科學報告。
本文鏈接:http://www.www897cc.com/showinfo-45-13003-0.htmlAI聊天機器人總結能力堪憂,七成關鍵信息易遺漏!
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com