藍標虧錢、Meta裁員：天下秀還值得砸錢元宇宙嗎？
日前，天下秀數字科技集團正式公布了2022年報及2023年一季報。報告顯示，2022年天下秀實現營收41.29億元，同比下滑8.48%；歸母凈利潤1.8億元，同比下滑49.2%，幾乎出現了盈利腰斬的態勢
離大譜了，弱智吧登上正經 AI 論文，還成了最好的中文訓練數據？？
具體來說，使用弱智吧數據訓練的大模型，跑分超過百科、知乎、豆瓣、小紅書等平臺，甚至是研究團隊精心挑選的數據集。
在問答、頭腦風暴、分類、生成、總結、提取等 8 項測試中取得最高分。
沒錯，論文中的 Ruozhiba 就是指百度貼吧弱智吧，一個充滿荒謬、離奇、不合常理發言的中文社區，畫風通常是這樣的：
最離譜的是，弱智吧 AI 代碼能力也超過了使用專業技術問答社區思否數據訓練的 AI，這下吧友自己都鬧不明白了。
其他平臺圍觀網友也紛紛蚌埠住。
這項研究來自中科院深圳先進技術研究院、中科院自動化研究所，滑鐵盧大學等眾多高校、研究機構聯合團隊。
作者之一也現身評論區，透露使用弱智吧數據訓練 AI 屬于靈機一動，以前只用來測試。
弱智吧數據究竟如何達成這一成就，具體到論文中看。
弱智發言成指令微調神器這項研究起初為解決中文大模型訓練中的諸多問題：
中文數據集很多是從英文翻譯過來的，沒有很好地契合中文的語言習慣和文化背景
不少數據集是用 AI 生成的，質量難以保證，容易出現事實性錯誤
即使是人工標注的數據集，也存在數據量小、覆蓋領域不全面等問題
為了解決這些痛點，團隊從中文互聯網的各種知識源頭直接收集數據，比如知乎、豆瓣、百科、小紅書等，經過一系列嚴格的清洗和人工審核，打造成高質量、多樣化的中文指令微調數據集 COIG-CQIA。
除了探索不同數據源的作用，團隊還專門從中抽取出一個精華子集 CQIA-Subset。
在眾多數據來源中，弱智吧成了最特別的一個。
由 500 個點贊最高的帖子標題 + 人工或 GPT-4 的回復組成指令微調數據集，經過人工審核后，最終留下了 240 組指令-回復數據對。
分別用各種數據集訓練零一萬物 Yi 系列開源大模型，在 BELLE-Eval 測試集上使用 GPT-4 評分得到結果。
在規模較小的 Yi-6B 模型上，純弱智吧版本總分排名第三，還不算太突出。
看來小模型還沒能領悟弱智的精髓。
到了 Yi-34B，弱智吧版本表現就一騎絕塵了。
只有在改寫和數學任務上沒能取得最高分，但成績也比較靠前。
另外，在安全評估上弱智吧版本也能排上第二。
對于這類現象，研究人員在分析中也給出簡單猜測：
可能是弱智吧問題增強了 AI 的邏輯推理能力，從而使指令遵循任務受益。
當然弱智吧并不是這項研究的全部，它的真正貢獻在于為中文大模型開發提供了一個高質量的指令微調數據集 COIG-CQIA。
通過對各種中文互聯網數據源的探索，這項研究為構建中文指令數據集提供了很多有益的啟示。比如社交媒體數據雖然開放多樣，但也存在不少有害信息風險；而百科類數據專業性強，但覆蓋面可能不夠廣。
弱智吧上大分這項研究一發，網友集體笑不活。除了“XSWL、思路開闊了”這樣的純圍觀，也有網友認真討論起了弱智吧有如此奇效的原因。
大伙兒都比較認可的一個原因是弱智吧題目的“異質”。
像腦筋急轉彎，增加了指令多樣性，所以提升了模型最終性能：
通用數據集多半已經在 pretrain 階段見過了，再訓一遍只會加重 overfitting。
另一個原因是弱智吧數據文本質量很高，用詞準確且簡潔。
千言萬語匯成一句話：把弱智吧只當簡單的段子合集真的是嚴重低估了它的價值！
雀食，要不此前弱智吧問題也經常被大伙兒用來測試大模型呢。
事實上從 ChatGPT 誕生之初，弱智吧就深度參與了大模型的發展，可以算是這一波 AI 浪潮的重要見證者了。
一開始只是網友拿來拷打 AI，搞搞節目效果。
后來大家發現，弱智吧問題中充滿陷阱，剛好可以用來分辨 AI 能力高低。
還記得 23 年初那會兒，各家大模型第一版還不太能很好應對這類問題，如 2023 年 3 月的文心一言：
后續版本也漸入佳境了，如 2023 年 8 月的文心一言：
直到今天，弱智吧問題都是每個新發布大模型都必須要過的一關，被戲稱為弱智吧 Benchmark。
再后來，AI 公司們自己也開始重視起來，如百度官方就搞過聯動直播。
當初網友為了調戲大模型專門搜集的弱智吧問題測試集，沒想到有一天也能搖身一變，成了訓練集。
思路確實是被打開了～
論文地址：
https://arxiv.org/abs/2403.18058
參考鏈接：
[1]https://x.com/9hills/status/1775358963724554410
[2]https://zhuanlan.zhihu.com/p/690640864
[3]https://tieba.baidu.com/p/8964992247
本文來自微信公眾號：量子位 （ID：QbitAI），作者：夢晨 西風
本文鏈接：http://www.www897cc.com/showinfo-45-3906-0.html弱智吧竟成最佳中文 AI 訓練數據？中科院等：8 項測試第一，遠超知乎豆瓣小紅書
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號