日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

綜合性能全面提升,書生?浦語 2.0 在阿里云魔搭開源首發

來源: 責編: 時間:2024-01-18 17:31:33 298觀看
導讀 1 月 17 日,上海人工智能實驗室與商湯科技聯合香港中文大學和復旦大學正式發布新一代大語言模型書生?浦語 2.0(InternLM2),模型開源可免費授權商用。該模型在阿里云魔搭社區(ModelScope)上首發。InternLM2 的核心

1 月 17 日,上海人工智能實驗室與商湯科技聯合香港中文大學和復旦大學正式發布新一代大語言模型書生?浦語 2.0(InternLM2),模型開源可免費授權商用。該模型在阿里云魔搭社區(ModelScope)上首發。vlR28資訊網——每日最新資訊28at.com

InternLM2 的核心理念在于回歸語言建模的本質,致力于通過提高語料質量及信息密度,實現模型基座語言建模能力獲得質的提升,進而在數理、代碼、對話、創作等各方面都取得長足進步,綜合性能達到同量級開源模型的領先水平。vlR28資訊網——每日最新資訊28at.com

InternLM2 在 2.6 萬億 token 的高質量語料上訓練得到。沿襲第一代書生?浦語(InternLM)的設定,InternLM2 包含 7B 及 20B 兩種參數規格及基座、對話等版本,滿足不同復雜應用場景需求。秉持“以高質量開源賦能創新”理念,上海 AI 實驗室繼續提供 InternLM2 免費商用授權。vlR28資訊網——每日最新資訊28at.com

阿里云魔搭社區已開設書生?浦語“模型品牌館”專頁,聚合該系列所有模型及體驗接口,并推出了相關最佳實踐教程,提前跑通模型的部署、推理和微調流程供開發者快速上手。在魔搭社區書生?浦語 2 模型頁,開發者還可點擊“Notebook 快速開發”,一鍵拉起阿里云人工智能平臺 PAI,在云上對模型進行快速開發和部署。vlR28資訊網——每日最新資訊28at.com

vlR28資訊網——每日最新資訊28at.com

▲魔搭社區書生?浦語 2 模型頁截圖

魔搭社區開源地址vlR28資訊網——每日最新資訊28at.com

魔搭書生?浦語 2.0 最佳實踐vlR28資訊網——每日最新資訊28at.com

此前 9 月,書生?浦語 InternLM-20B 開源也以魔搭社區作為首發平臺。作為國內規模最大的 AI 模型社區,魔搭聚集了國內頭部人工智能機構貢獻的 2700 多款 AI 模型,并成為諸多頂尖大模型的首發陣地。在魔搭上,開發者可一站式進行模型體驗、下載、推理、調優、定制,并可調用阿里云免費算力,目前魔搭上開發者超過 360 萬,模型下載量已破億。vlR28資訊網——每日最新資訊28at.com

回歸語言建模本質,筑牢大模型能力基礎vlR28資訊網——每日最新資訊28at.com

上海 AI 實驗室聯合團隊研究認為,對于大模型的研究應回歸語言建模本質,通過更高質量的語料以及更高的信息密度,筑牢大模型能力基礎。vlR28資訊網——每日最新資訊28at.com

為此,聯合團隊提出了新一代的數據清洗過濾技術,發展了多維度數據價值評估、高質量語料驅動的數據富集、針對性的數據補齊等方面的技術方法。vlR28資訊網——每日最新資訊28at.com

目前,InternLM 背后的數據清洗過濾技術經歷三輪迭代升級,使用約 60% 訓練數據即可達到使用第二代數據訓練 1T token 的表現,模型訓練效率大幅提升。vlR28資訊網——每日最新資訊28at.com

A graph of a number of dataDescription automatically generated with medium confidencevlR28資訊網——每日最新資訊28at.com

▲第三代數據清洗過濾技術大幅度提升模型訓練效率

基于第三代數據清洗過濾技術,InternLM2 語言建模能力顯著增強。vlR28資訊網——每日最新資訊28at.com

支持 200K 超長上下文,實現長文本中“大海撈針”vlR28資訊網——每日最新資訊28at.com

長語境輸入及理解能力能顯著拓展大模型的應用場景,然而,大模型有限的上下文長度仍為學界及業界的重要難題。vlR28資訊網——每日最新資訊28at.com

通過拓展訓練窗口大小和改進位置編碼,InternLM2 支持 200K token 的上下文,能夠一次性接受并處理約 30 萬漢字(約五六百頁的文檔)的輸入內容,準確提取關鍵信息,實現長文本中“大海撈針”。vlR28資訊網——每日最新資訊28at.com

vlR28資訊網——每日最新資訊28at.com

▲InternLM2“大海撈針”試驗效果

性能全面提升,綜合能力領先的開源模型vlR28資訊網——每日最新資訊28at.com

研究人員定義了語言、知識、推理、數學、代碼、考試等六個能力維度,在 55 個主流評測集上對多個同量級模型的表現進行了綜合評測。結果顯示,InternLM2 的 7B 及 20B 版本性能在同量級模型中表現優異。在典型測試集上,InternLM2 只用 20B 參數的中等規模,即在整體表現上達到與 ChatGPT 比肩的水平。vlR28資訊網——每日最新資訊28at.com

vlR28資訊網——每日最新資訊28at.com

▲InternLM2 與 ChatGPT 的評測結果對比

與此同時,綜合性能增強帶來下游任務全方位能力提升。vlR28資訊網——每日最新資訊28at.com

優秀的對話和創造體驗vlR28資訊網——每日最新資訊28at.com

研究測試表明,InternLM2-Chat 可精準理解和遵循用戶意圖,具備較強的共情能力和豐富的結構化創作能力。vlR28資訊網——每日最新資訊28at.com

vlR28資訊網——每日最新資訊28at.com

▲InternLM2 能夠在對話中與用戶“共情”

進行課程大綱等結構化創作時,InternLM2 可精準遵循用戶提出的格式、數量、內容等要求;編寫《流浪地球 3》劇本時,InternLM2 具備豐富的合理想象,如外星遺跡、量子糾纏的引入等,同時故事表現了人類面對危機時的勇氣和團結精神。vlR28資訊網——每日最新資訊28at.com

工具調用能力整體升級vlR28資訊網——每日最新資訊28at.com

基于更強大、更具泛化性的指令理解、工具篩選與結果反思等能力,InternLM2 可支持復雜智能體的搭建,支持對工具進行多輪有效調用及多步驟規劃,完成復雜任務。vlR28資訊網——每日最新資訊28at.com

聯合團隊針對多種任務構建了細粒度工具調用評測集 T-Eval,InternLM2-Chat-7B 在該評測集上表現超越了 Claude-2.1 和目前的開源模型,性能接近 GPT-3.5。vlR28資訊網——每日最新資訊28at.com

數理推理:會做題,還會可視化分析vlR28資訊網——每日最新資訊28at.com

InternLM2 在不依靠外部工具的情況下,100 以內簡單運算準確率近 100%,1000 以內準確率達 80% 左右。在 GSM8K 和 MATH 評測中,InternLM2-20B 表現超過 GPT-3.5。vlR28資訊網——每日最新資訊28at.com

為應對復雜計算,InternLM2-Chat 還可借助代碼解釋器編寫代碼進行計算,或對推理的結果進行形式化驗證,從而解決更加復雜的計算問題。vlR28資訊網——每日最新資訊28at.com

基于這些能力,InternLM2 還具備了數據分析和可視化實用能力,進一步貼近用戶使用場景。vlR28資訊網——每日最新資訊28at.com

vlR28資訊網——每日最新資訊28at.com

向 InternLM2 輸入國家統計局公布的“2023 年 3-11 月份規模以上工業企業主要財務指標(分行業)”,InternLM2 能夠分析數據并繪制折線圖vlR28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-64371-0.html綜合性能全面提升,書生?浦語 2.0 在阿里云魔搭開源首發

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 微服務和無服務器架構時代的持續測試

下一篇: 云鯨智能掃拖一體機器人 J4 入選界面 2023“理想的生活”好物榜

標簽:
  • 熱門焦點
  • K6:面向開發人員的現代負載測試工具

    K6 是一個開源負載測試工具,可以輕松編寫、運行和分析性能測試。它建立在 Go 和 JavaScript 之上,它被設計為功能強大、可擴展且易于使用。k6 可用于測試各種應用程序,包括 Web
  • 學習JavaScript的10個理由...

    作者 | Simplilearn編譯 | 王瑞平當你決心學習一門語言的時候,很難選擇到底應該學習哪一門,常用的語言有Python、Java、JavaScript、C/CPP、PHP、Swift、C#、Ruby、Objective-
  • 如何通過Python線程池實現異步編程?

    線程池的概念和基本原理線程池是一種并發處理機制,它可以在程序啟動時創建一組線程,并將它們置于等待任務的狀態。當任務到達時,線程池中的某個線程會被喚醒并執行任務,執行完任
  • 微信語音大揭秘:為什么禁止轉發?

    大家好,我是你們的小米。今天,我要和大家聊一個有趣的話題:為什么微信語音不可以轉發?這是一個我們經常在日常使用中遇到的問題,也是一個讓很多人好奇的問題。讓我們一起來揭開這
  • ESG的面子與里子

    來源 | 光子星球撰文 | 吳坤諺編輯 | 吳先之三伏大幕拉起,各地高溫預警不絕,但處于厄爾尼諾大“烤”之下的除了眾生,還有各大企業發布的ESG報告。ESG是“環境保
  • 消息稱小米汽車開始篩選交付中心:需至少120個車位

    IT之家 7 月 7 日消息,日前,有微博簡介為“汽車行業從業者、長三角一體化擁護者”的微博用戶 @長三角行健者 發文表示,據經銷商集團反饋,小米汽車目前
  • 半導體需求下滑 三星電子DS業務部門今年營業虧損預計超10萬億韓元

    7月17日消息,據外媒報道,去年下半年開始的半導體需求下滑,影響到了三星電子、SK海力士、英特爾等諸多廠商,營收明顯下滑,部分廠商甚至出現了虧損。作為
  • Counterpoint :OPPO雙旗艦戰略全面落地 高端產品銷量增長22%

    2023年6月30日,全球行業分析機構Counterpoint Research發布的《中國智能手機高端市場白皮書》顯示,中國智能手機品牌正在尋求高質量發展,中國高端智能
  • SN570 NVMe SSD固態硬盤 價格與性能兼具

    SN570 NVMe SSD固態硬盤是西部數據發布的最新一代WD Blue系列的固態硬盤,不僅閃存技術更為精進,性能也得到了進一步的躍升。WD Blue SN570 NVMe SSD的包裝外
Top 主站蜘蛛池模板: 嵊州市| 台山市| 巴东县| 尼勒克县| 文昌市| 丰都县| 石城县| 环江| 竹溪县| 勃利县| 凉城县| 九台市| 大英县| 德令哈市| 长沙市| 安阳县| 儋州市| 泌阳县| 阳原县| 德令哈市| 正宁县| 合水县| 清镇市| 衡东县| 松阳县| 东明县| 长治市| 广平县| 延长县| 阜宁县| 邢台县| 梁河县| 舟山市| 鲁甸县| 饶河县| 申扎县| 容城县| 虞城县| 兴安盟| 西峡县| 剑阁县|