4月30日消息,聯(lián)發(fā)科 AI 研究小組日前發(fā)布了全球首個繁體中文 AI 大型語言模型(LLM)。據(jù)該公司介紹,這一多語言模型名為BLOOM-zh,號稱在大多數(shù)繁體中文基準(zhǔn)測試中優(yōu)于其前身,同時保持其英語能力。該模型經(jīng)過額外的繁體中文和英文74億個token的擴(kuò)展預(yù)訓(xùn)練,覆蓋了多個領(lǐng)域。
聯(lián)發(fā)科 AI 研究小組在 ICLR 國際表征學(xué)習(xí)大會上發(fā)表了一篇論文,詳細(xì)介紹了其使用Fisher-Legendre(FishLeg)優(yōu)化的新算法,可以比以前更快、更可靠地訓(xùn)練 AI模型。該研究是與英國劍橋大學(xué)的神經(jīng)動力學(xué)和控制組合作進(jìn)行的。聯(lián)發(fā)科 AI 研究小組將在 5 月 1 日的 ICLR 會議上展示這項成果。
據(jù)ITBEAR科技資訊了解,聯(lián)發(fā)科的 AI 研究小組表示,BLOOM-zh 起源于 BigScience 于 2022 年推出的開源 BLOOM模型,團(tuán)隊對 BLOOM 進(jìn)行了額外的繁體中文和英文 74 億個 token 的擴(kuò)展預(yù)訓(xùn)練,涵蓋了新聞、書籍、百科全書、教材、口語等多個領(lǐng)域。為了展示BLOOM-zh 的特性,現(xiàn)有的和新創(chuàng)建的基準(zhǔn)場景都用于評估性能。聯(lián)發(fā)科 AI 研究小組表示,BLOOM-zh的發(fā)布將進(jìn)一步推動繁體中文自然語言處理領(lǐng)域的發(fā)展,為各種應(yīng)用場景提供更加精準(zhǔn)和高效的語言處理能力。
綜上所述,聯(lián)發(fā)科 AI 研究小組的發(fā)布全球首個繁體中文 AI 大型語言模型 BLOOM-zh,將為繁體中文自然語言處理領(lǐng)域的發(fā)展注入新的活力。而其使用Fisher-Legendre(FishLeg)優(yōu)化的新算法,也將進(jìn)一步提升 AI 模型的訓(xùn)練效率和可靠性。
本文鏈接:http://www.www897cc.com/showinfo-45-1592-0.html聯(lián)發(fā)科AI研究小組發(fā)布全球首個繁體中文AI大型語言模型
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com