1 月 17 日,上海人工智能實驗室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)正式發(fā)布新一代大語言模型書生?浦語 2.0(InternLM2),模型開源可免費授權(quán)商用。該模型在阿里云魔搭社區(qū)(ModelScope)上首發(fā)。
InternLM2 的核心理念在于回歸語言建模的本質(zhì),致力于通過提高語料質(zhì)量及信息密度,實現(xiàn)模型基座語言建模能力獲得質(zhì)的提升,進而在數(shù)理、代碼、對話、創(chuàng)作等各方面都取得長足進步,綜合性能達到同量級開源模型的領(lǐng)先水平。
InternLM2 在 2.6 萬億 token 的高質(zhì)量語料上訓(xùn)練得到。沿襲第一代書生?浦語(InternLM)的設(shè)定,InternLM2 包含 7B 及 20B 兩種參數(shù)規(guī)格及基座、對話等版本,滿足不同復(fù)雜應(yīng)用場景需求。秉持“以高質(zhì)量開源賦能創(chuàng)新”理念,上海 AI 實驗室繼續(xù)提供 InternLM2 免費商用授權(quán)。
阿里云魔搭社區(qū)已開設(shè)書生?浦語“模型品牌館”專頁,聚合該系列所有模型及體驗接口,并推出了相關(guān)最佳實踐教程,提前跑通模型的部署、推理和微調(diào)流程供開發(fā)者快速上手。在魔搭社區(qū)書生?浦語 2 模型頁,開發(fā)者還可點擊“Notebook 快速開發(fā)”,一鍵拉起阿里云人工智能平臺 PAI,在云上對模型進行快速開發(fā)和部署。
魔搭社區(qū)開源地址
魔搭書生?浦語 2.0 最佳實踐
此前 9 月,書生?浦語 InternLM-20B 開源也以魔搭社區(qū)作為首發(fā)平臺。作為國內(nèi)規(guī)模最大的 AI 模型社區(qū),魔搭聚集了國內(nèi)頭部人工智能機構(gòu)貢獻的 2700 多款 AI 模型,并成為諸多頂尖大模型的首發(fā)陣地。在魔搭上,開發(fā)者可一站式進行模型體驗、下載、推理、調(diào)優(yōu)、定制,并可調(diào)用阿里云免費算力,目前魔搭上開發(fā)者超過 360 萬,模型下載量已破億。
回歸語言建模本質(zhì),筑牢大模型能力基礎(chǔ)
上海 AI 實驗室聯(lián)合團隊研究認為,對于大模型的研究應(yīng)回歸語言建模本質(zhì),通過更高質(zhì)量的語料以及更高的信息密度,筑牢大模型能力基礎(chǔ)。
為此,聯(lián)合團隊提出了新一代的數(shù)據(jù)清洗過濾技術(shù),發(fā)展了多維度數(shù)據(jù)價值評估、高質(zhì)量語料驅(qū)動的數(shù)據(jù)富集、針對性的數(shù)據(jù)補齊等方面的技術(shù)方法。
目前,InternLM 背后的數(shù)據(jù)清洗過濾技術(shù)經(jīng)歷三輪迭代升級,使用約 60% 訓(xùn)練數(shù)據(jù)即可達到使用第二代數(shù)據(jù)訓(xùn)練 1T token 的表現(xiàn),模型訓(xùn)練效率大幅提升。
基于第三代數(shù)據(jù)清洗過濾技術(shù),InternLM2 語言建模能力顯著增強。
支持 200K 超長上下文,實現(xiàn)長文本中“大海撈針”
長語境輸入及理解能力能顯著拓展大模型的應(yīng)用場景,然而,大模型有限的上下文長度仍為學(xué)界及業(yè)界的重要難題。
通過拓展訓(xùn)練窗口大小和改進位置編碼,InternLM2 支持 200K token 的上下文,能夠一次性接受并處理約 30 萬漢字(約五六百頁的文檔)的輸入內(nèi)容,準確提取關(guān)鍵信息,實現(xiàn)長文本中“大海撈針”。
性能全面提升,綜合能力領(lǐng)先的開源模型
研究人員定義了語言、知識、推理、數(shù)學(xué)、代碼、考試等六個能力維度,在 55 個主流評測集上對多個同量級模型的表現(xiàn)進行了綜合評測。結(jié)果顯示,InternLM2 的 7B 及 20B 版本性能在同量級模型中表現(xiàn)優(yōu)異。在典型測試集上,InternLM2 只用 20B 參數(shù)的中等規(guī)模,即在整體表現(xiàn)上達到與 ChatGPT 比肩的水平。
與此同時,綜合性能增強帶來下游任務(wù)全方位能力提升。
優(yōu)秀的對話和創(chuàng)造體驗
研究測試表明,InternLM2-Chat 可精準理解和遵循用戶意圖,具備較強的共情能力和豐富的結(jié)構(gòu)化創(chuàng)作能力。
進行課程大綱等結(jié)構(gòu)化創(chuàng)作時,InternLM2 可精準遵循用戶提出的格式、數(shù)量、內(nèi)容等要求;編寫《流浪地球 3》劇本時,InternLM2 具備豐富的合理想象,如外星遺跡、量子糾纏的引入等,同時故事表現(xiàn)了人類面對危機時的勇氣和團結(jié)精神。
工具調(diào)用能力整體升級
基于更強大、更具泛化性的指令理解、工具篩選與結(jié)果反思等能力,InternLM2 可支持復(fù)雜智能體的搭建,支持對工具進行多輪有效調(diào)用及多步驟規(guī)劃,完成復(fù)雜任務(wù)。
聯(lián)合團隊針對多種任務(wù)構(gòu)建了細粒度工具調(diào)用評測集 T-Eval,InternLM2-Chat-7B 在該評測集上表現(xiàn)超越了 Claude-2.1 和目前的開源模型,性能接近 GPT-3.5。
數(shù)理推理:會做題,還會可視化分析
InternLM2 在不依靠外部工具的情況下,100 以內(nèi)簡單運算準確率近 100%,1000 以內(nèi)準確率達 80% 左右。在 GSM8K 和 MATH 評測中,InternLM2-20B 表現(xiàn)超過 GPT-3.5。
為應(yīng)對復(fù)雜計算,InternLM2-Chat 還可借助代碼解釋器編寫代碼進行計算,或?qū)ν评淼慕Y(jié)果進行形式化驗證,從而解決更加復(fù)雜的計算問題。
基于這些能力,InternLM2 還具備了數(shù)據(jù)分析和可視化實用能力,進一步貼近用戶使用場景。
向 InternLM2 輸入國家統(tǒng)計局公布的“2023 年 3-11 月份規(guī)模以上工業(yè)企業(yè)主要財務(wù)指標(分行業(yè))”,InternLM2 能夠分析數(shù)據(jù)并繪制折線圖
本文鏈接:http://www.www897cc.com/showinfo-26-64371-0.html綜合性能全面提升,書生?浦語 2.0 在阿里云魔搭開源首發(fā)
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com