日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

綜合性能全面提升,書生?浦語 2.0 在阿里云魔搭開源首發(fā)

來源: 責(zé)編: 時間:2024-01-18 17:31:33 265觀看
導(dǎo)讀 1 月 17 日,上海人工智能實驗室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)正式發(fā)布新一代大語言模型書生?浦語 2.0(InternLM2),模型開源可免費授權(quán)商用。該模型在阿里云魔搭社區(qū)(ModelScope)上首發(fā)。InternLM2 的核心

1 月 17 日,上海人工智能實驗室與商湯科技聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)正式發(fā)布新一代大語言模型書生?浦語 2.0(InternLM2),模型開源可免費授權(quán)商用。該模型在阿里云魔搭社區(qū)(ModelScope)上首發(fā)。TFx28資訊網(wǎng)——每日最新資訊28at.com

InternLM2 的核心理念在于回歸語言建模的本質(zhì),致力于通過提高語料質(zhì)量及信息密度,實現(xiàn)模型基座語言建模能力獲得質(zhì)的提升,進而在數(shù)理、代碼、對話、創(chuàng)作等各方面都取得長足進步,綜合性能達到同量級開源模型的領(lǐng)先水平。TFx28資訊網(wǎng)——每日最新資訊28at.com

InternLM2 在 2.6 萬億 token 的高質(zhì)量語料上訓(xùn)練得到。沿襲第一代書生?浦語(InternLM)的設(shè)定,InternLM2 包含 7B 及 20B 兩種參數(shù)規(guī)格及基座、對話等版本,滿足不同復(fù)雜應(yīng)用場景需求。秉持“以高質(zhì)量開源賦能創(chuàng)新”理念,上海 AI 實驗室繼續(xù)提供 InternLM2 免費商用授權(quán)。TFx28資訊網(wǎng)——每日最新資訊28at.com

阿里云魔搭社區(qū)已開設(shè)書生?浦語“模型品牌館”專頁,聚合該系列所有模型及體驗接口,并推出了相關(guān)最佳實踐教程,提前跑通模型的部署、推理和微調(diào)流程供開發(fā)者快速上手。在魔搭社區(qū)書生?浦語 2 模型頁,開發(fā)者還可點擊“Notebook 快速開發(fā)”,一鍵拉起阿里云人工智能平臺 PAI,在云上對模型進行快速開發(fā)和部署。TFx28資訊網(wǎng)——每日最新資訊28at.com

TFx28資訊網(wǎng)——每日最新資訊28at.com

▲魔搭社區(qū)書生?浦語 2 模型頁截圖

魔搭社區(qū)開源地址TFx28資訊網(wǎng)——每日最新資訊28at.com

魔搭書生?浦語 2.0 最佳實踐TFx28資訊網(wǎng)——每日最新資訊28at.com

此前 9 月,書生?浦語 InternLM-20B 開源也以魔搭社區(qū)作為首發(fā)平臺。作為國內(nèi)規(guī)模最大的 AI 模型社區(qū),魔搭聚集了國內(nèi)頭部人工智能機構(gòu)貢獻的 2700 多款 AI 模型,并成為諸多頂尖大模型的首發(fā)陣地。在魔搭上,開發(fā)者可一站式進行模型體驗、下載、推理、調(diào)優(yōu)、定制,并可調(diào)用阿里云免費算力,目前魔搭上開發(fā)者超過 360 萬,模型下載量已破億。TFx28資訊網(wǎng)——每日最新資訊28at.com

回歸語言建模本質(zhì),筑牢大模型能力基礎(chǔ)TFx28資訊網(wǎng)——每日最新資訊28at.com

上海 AI 實驗室聯(lián)合團隊研究認為,對于大模型的研究應(yīng)回歸語言建模本質(zhì),通過更高質(zhì)量的語料以及更高的信息密度,筑牢大模型能力基礎(chǔ)。TFx28資訊網(wǎng)——每日最新資訊28at.com

為此,聯(lián)合團隊提出了新一代的數(shù)據(jù)清洗過濾技術(shù),發(fā)展了多維度數(shù)據(jù)價值評估、高質(zhì)量語料驅(qū)動的數(shù)據(jù)富集、針對性的數(shù)據(jù)補齊等方面的技術(shù)方法。TFx28資訊網(wǎng)——每日最新資訊28at.com

目前,InternLM 背后的數(shù)據(jù)清洗過濾技術(shù)經(jīng)歷三輪迭代升級,使用約 60% 訓(xùn)練數(shù)據(jù)即可達到使用第二代數(shù)據(jù)訓(xùn)練 1T token 的表現(xiàn),模型訓(xùn)練效率大幅提升。TFx28資訊網(wǎng)——每日最新資訊28at.com

A graph of a number of dataDescription automatically generated with medium confidenceTFx28資訊網(wǎng)——每日最新資訊28at.com

▲第三代數(shù)據(jù)清洗過濾技術(shù)大幅度提升模型訓(xùn)練效率

基于第三代數(shù)據(jù)清洗過濾技術(shù),InternLM2 語言建模能力顯著增強。TFx28資訊網(wǎng)——每日最新資訊28at.com

支持 200K 超長上下文,實現(xiàn)長文本中“大海撈針”TFx28資訊網(wǎng)——每日最新資訊28at.com

長語境輸入及理解能力能顯著拓展大模型的應(yīng)用場景,然而,大模型有限的上下文長度仍為學(xué)界及業(yè)界的重要難題。TFx28資訊網(wǎng)——每日最新資訊28at.com

通過拓展訓(xùn)練窗口大小和改進位置編碼,InternLM2 支持 200K token 的上下文,能夠一次性接受并處理約 30 萬漢字(約五六百頁的文檔)的輸入內(nèi)容,準確提取關(guān)鍵信息,實現(xiàn)長文本中“大海撈針”。TFx28資訊網(wǎng)——每日最新資訊28at.com

TFx28資訊網(wǎng)——每日最新資訊28at.com

▲InternLM2“大海撈針”試驗效果

性能全面提升,綜合能力領(lǐng)先的開源模型TFx28資訊網(wǎng)——每日最新資訊28at.com

研究人員定義了語言、知識、推理、數(shù)學(xué)、代碼、考試等六個能力維度,在 55 個主流評測集上對多個同量級模型的表現(xiàn)進行了綜合評測。結(jié)果顯示,InternLM2 的 7B 及 20B 版本性能在同量級模型中表現(xiàn)優(yōu)異。在典型測試集上,InternLM2 只用 20B 參數(shù)的中等規(guī)模,即在整體表現(xiàn)上達到與 ChatGPT 比肩的水平。TFx28資訊網(wǎng)——每日最新資訊28at.com

TFx28資訊網(wǎng)——每日最新資訊28at.com

▲InternLM2 與 ChatGPT 的評測結(jié)果對比

與此同時,綜合性能增強帶來下游任務(wù)全方位能力提升。TFx28資訊網(wǎng)——每日最新資訊28at.com

優(yōu)秀的對話和創(chuàng)造體驗TFx28資訊網(wǎng)——每日最新資訊28at.com

研究測試表明,InternLM2-Chat 可精準理解和遵循用戶意圖,具備較強的共情能力和豐富的結(jié)構(gòu)化創(chuàng)作能力。TFx28資訊網(wǎng)——每日最新資訊28at.com

TFx28資訊網(wǎng)——每日最新資訊28at.com

▲InternLM2 能夠在對話中與用戶“共情”

進行課程大綱等結(jié)構(gòu)化創(chuàng)作時,InternLM2 可精準遵循用戶提出的格式、數(shù)量、內(nèi)容等要求;編寫《流浪地球 3》劇本時,InternLM2 具備豐富的合理想象,如外星遺跡、量子糾纏的引入等,同時故事表現(xiàn)了人類面對危機時的勇氣和團結(jié)精神。TFx28資訊網(wǎng)——每日最新資訊28at.com

工具調(diào)用能力整體升級TFx28資訊網(wǎng)——每日最新資訊28at.com

基于更強大、更具泛化性的指令理解、工具篩選與結(jié)果反思等能力,InternLM2 可支持復(fù)雜智能體的搭建,支持對工具進行多輪有效調(diào)用及多步驟規(guī)劃,完成復(fù)雜任務(wù)。TFx28資訊網(wǎng)——每日最新資訊28at.com

聯(lián)合團隊針對多種任務(wù)構(gòu)建了細粒度工具調(diào)用評測集 T-Eval,InternLM2-Chat-7B 在該評測集上表現(xiàn)超越了 Claude-2.1 和目前的開源模型,性能接近 GPT-3.5。TFx28資訊網(wǎng)——每日最新資訊28at.com

數(shù)理推理:會做題,還會可視化分析TFx28資訊網(wǎng)——每日最新資訊28at.com

InternLM2 在不依靠外部工具的情況下,100 以內(nèi)簡單運算準確率近 100%,1000 以內(nèi)準確率達 80% 左右。在 GSM8K 和 MATH 評測中,InternLM2-20B 表現(xiàn)超過 GPT-3.5。TFx28資訊網(wǎng)——每日最新資訊28at.com

為應(yīng)對復(fù)雜計算,InternLM2-Chat 還可借助代碼解釋器編寫代碼進行計算,或?qū)ν评淼慕Y(jié)果進行形式化驗證,從而解決更加復(fù)雜的計算問題。TFx28資訊網(wǎng)——每日最新資訊28at.com

基于這些能力,InternLM2 還具備了數(shù)據(jù)分析和可視化實用能力,進一步貼近用戶使用場景。TFx28資訊網(wǎng)——每日最新資訊28at.com

TFx28資訊網(wǎng)——每日最新資訊28at.com

向 InternLM2 輸入國家統(tǒng)計局公布的“2023 年 3-11 月份規(guī)模以上工業(yè)企業(yè)主要財務(wù)指標(分行業(yè))”,InternLM2 能夠分析數(shù)據(jù)并繪制折線圖TFx28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-64371-0.html綜合性能全面提升,書生?浦語 2.0 在阿里云魔搭開源首發(fā)

聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 微服務(wù)和無服務(wù)器架構(gòu)時代的持續(xù)測試

下一篇: 云鯨智能掃拖一體機器人 J4 入選界面 2023“理想的生活”好物榜

標簽:
  • 熱門焦點
  • 小米官宣:2023年上半年出貨量中國第一!

    今日早間,小米電視官方微博帶來消息,稱2023年小米電視上半年出貨量達到了中國第一,同時還表示小米電視的巨屏風(fēng)暴即將開始?!肮家粋€好消息2023年#小米電視上半年出貨量中國
  • 8月總票房已突破10億!《封神》第一:口碑已經(jīng)成了

    8月5日消息,據(jù)燈塔專業(yè)版數(shù)據(jù),截至8月5日9時35分,8月總票房(含預(yù)售)已突破10億。其中,《封神》以大比分的優(yōu)勢領(lǐng)先。根據(jù)官方消息,目前該片總票房已經(jīng)超過14.
  • K8S | Service服務(wù)發(fā)現(xiàn)

    一、背景在微服務(wù)架構(gòu)中,這里以開發(fā)環(huán)境「Dev」為基礎(chǔ)來描述,在K8S集群中通常會開放:路由網(wǎng)關(guān)、注冊中心、配置中心等相關(guān)服務(wù),可以被集群外部訪問;圖片對于測試「Tes」環(huán)境或者
  • 微信語音大揭秘:為什么禁止轉(zhuǎn)發(fā)?

    大家好,我是你們的小米。今天,我要和大家聊一個有趣的話題:為什么微信語音不可以轉(zhuǎn)發(fā)?這是一個我們經(jīng)常在日常使用中遇到的問題,也是一個讓很多人好奇的問題。讓我們一起來揭開這
  • Python異步IO編程的進程/線程通信實現(xiàn)

    這篇文章再講3種方式,同時講4中進程間通信的方式一、 Python 中線程間通信的實現(xiàn)方式共享變量共享變量是多個線程可以共同訪問的變量。在Python中,可以使用threading模塊中的L
  • 東方甄選單飛:有些鳥注定是關(guān)不住的

    文/彭寬鴻編輯/羅卿東方甄選創(chuàng)始人俞敏洪帶隊的“7天甘肅行”直播活動已在近日順利收官。成立后一年多時間里,東方甄選要脫離抖音自立門戶的傳聞不絕于耳,“7
  • 攜眾多高端產(chǎn)品亮相ChinaJoy,小米帶來一場科技與人文的視聽盛宴

    7月28日,全球數(shù)字娛樂領(lǐng)域最具知名度與影響力的年度盛會中國國際數(shù)碼互動娛樂展覽會(簡稱ChinaJoy)在上海新國際博覽中心盛大開幕。作為全球領(lǐng)先的科
  • 蘋果140W USB-C充電器:采用氮化鎵技術(shù)

    據(jù)10 月 30 日 9to5 Mac 消息報道,當蘋果推出新的 MacBook Pro 2021 時,該公司還推出了新的 140W USB-C 充電器,附贈在 MacBook Pro 16 英寸機型的盒子里,也支
  • 英特爾Xe HPG游戲顯卡:擁有512EU,單風(fēng)扇版本

    據(jù)10 月 30 日外媒 TheVerge 消息報道,英特爾 Xe HPG Arc Alchemist 的正面實被曝光,不僅擁有 512 EU 版顯卡,還擁有 128EU 的單風(fēng)扇版本。另外,這款顯卡 PCB
Top 主站蜘蛛池模板: 凉山| 清苑县| 呼图壁县| 奉化市| 望谟县| 尼木县| 石棉县| 多伦县| 横山县| 乳山市| 肇州县| 丹棱县| 新晃| 大石桥市| 治多县| 夏邑县| 武胜县| 德令哈市| 中山市| 台中市| 山东省| 郑州市| 望谟县| 灵川县| 若羌县| 曲阳县| 静安区| 会昌县| 台山市| 郁南县| 郧西县| 伊川县| 塘沽区| 朔州市| 霍林郭勒市| 永靖县| 林周县| 绥芬河市| 塘沽区| 青浦区| 垫江县|