【新智元導(dǎo)讀】谷歌的 Gemma 2 剛剛發(fā)布,清華和北航的兩名博士生就已經(jīng)成功推出了指令微調(diào)版本,顯著增強(qiáng)了 Gemma 2 9B / 27B 模型的中文通用對(duì)話、角色扮演、數(shù)學(xué)、工具使用等能力。
眾所周知,很多國外 LLM 一直存在非英語歧視問題,英語和其他語言在 LLM 中存在的性能差距有時(shí)可以用懸殊來形容。
之前就有網(wǎng)友發(fā)現(xiàn),GPT-4o 分詞器語料庫中,中文數(shù)據(jù)污染非常嚴(yán)重,賭博色情網(wǎng)站是一個(gè)也不少,嚴(yán)重影響了我們用中文和 AI 機(jī)器人好好聊天。
最近發(fā)布的 Gemma 2 模型雖然既開源又強(qiáng)悍,但比較遺憾的是,其中文水平相較英文水平還有一定的距離。
不過,我們可以用微調(diào)來解決,F(xiàn)ine-tune it!
7 月 1 日,Gemma 2 剛發(fā)布 4 天,清華大學(xué)的一名人工智能博士生王慎執(zhí)就在 X 上隆重推出了一款微調(diào)模型 Gemma-2-9B-Chinese-Chat。
鄭耀威
鄭耀威目前仍在北航讀博,他曾以第一作者在 CVPR、AAAI、WWW 等頂會(huì)發(fā)表多篇論文,并擔(dān)任 AAAI、EMNLP、Neural Computation 等會(huì)議和期刊審稿人。
他也是大模型微調(diào)框架 LLaMA Factory 的發(fā)起人和主要開發(fā)者,GitHub 開源項(xiàng)目獲得超過 2 萬星標(biāo)。
在這些優(yōu)秀的貢獻(xiàn)者的不斷努力之下,開源模型之路會(huì)越走越寬廣,模型的中文能力也會(huì)逐漸增強(qiáng)。
參考資料:
https://x.com/ShenzhiWang_THU/status/1807640624402923779
https://huggingface.co/shenzhi-wang/Gemma-2-9B-Chinese-Chat
https://huggingface.co/shenzhi-wang/Gemma-2-27B-Chinese-Chat
本文來自微信公眾號(hào):新智元(ID:AI_era)
本文鏈接:http://www.www897cc.com/showinfo-45-5050-0.html清華北航博士生「強(qiáng)迫」Gemma-2 說中文!弱智吧、角色扮演、數(shù)學(xué)問題表現(xiàn)驚喜
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: OpenAI 公司被指不重視安全,未披露和報(bào)告 2023 年入侵事件
下一篇: 快手可靈 AI 網(wǎng)頁端上線:所有功能限時(shí)免費(fèi),單次視頻生成時(shí)長(zhǎng)增至 10 秒