日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

商湯“書生?浦語”2.0 大語言模型開源:200K 上下文,一次可讀 30 萬漢字

來源: 責編: 時間:2024-01-22 08:39:10 303觀看
導讀 1 月 17 日消息,商湯科技與上海 AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生?浦語 2.0(InternLM2)。據介紹,InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語(I

1 月 17 日消息,商湯科技與上海 AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生?浦語 2.0(InternLM2)。w1h28資訊網——每日最新資訊28at.com

據介紹,InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語(InternLM)設定,InternLM2 包含 7B 及 20B 兩種參數規格及基座、對話等版本,繼續開源,提供免費商用授權。w1h28資訊網——每日最新資訊28at.com

目前,浦語背后的數據清洗過濾技術已經歷三輪迭代升級,號稱僅使用約 60% 的訓練數據即可達到使用第二代數據訓練 1T tokens 的性能表現。w1h28資訊網——每日最新資訊28at.com

w1h28資訊網——每日最新資訊28at.com

與第一代 InternLM 相比,InternLM2 在大規模高質量的驗證語料上的 Loss 分布整體左移,表明其語言建模能力增強。w1h28資訊網——每日最新資訊28at.com

w1h28資訊網——每日最新資訊28at.com

通過拓展訓練窗口大小和位置編碼改進,InternLM2 支持 20 萬 tokens 的上下文,能夠一次性接受并處理約 30 萬漢字(約五六百頁的文檔)的輸入內容。w1h28資訊網——每日最新資訊28at.com

下面表格對比了 InternLM2 各版本與 ChatGPT(GPT-3.5)以及 GPT-4 在典型評測集上的表現。可以看到,InternLM2 在20B 參數的中等規模上,整體表現接近 ChatGPT。w1h28資訊網——每日最新資訊28at.com

w1h28資訊網——每日最新資訊28at.com

附開源鏈接:w1h28資訊網——每日最新資訊28at.com

Github:

https://github.com/InternLM/InternLMw1h28資訊網——每日最新資訊28at.com

HuggingFace:

https://huggingface.co/internlmw1h28資訊網——每日最新資訊28at.com

ModelScope:

https://modelscope.cn/organization/Shanghai_AI_Laboratoryw1h28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-3249-0.html商湯“書生?浦語”2.0 大語言模型開源:200K 上下文,一次可讀 30 萬漢字

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 小米申請注冊“ChatMI”“小米大模型”商標,用于智能音箱、電動汽車等

下一篇: “文生圖”再升級!學習個性化參照,無限生成多樣圖片,輕松設計玩具建筑

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 潞城市| 浦江县| 安多县| 阜城县| 忻州市| 苍山县| 湖州市| 新建县| 石泉县| 望谟县| 齐齐哈尔市| 辛集市| 千阳县| 浮梁县| 长治市| 杭州市| 仙桃市| 南宫市| 晋城| 定远县| 开平市| 平江县| 姜堰市| 册亨县| 望谟县| 封开县| 南昌市| 伊金霍洛旗| 望城县| 晋城| 昌宁县| 武汉市| 木兰县| 泰安市| 灵宝市| 绩溪县| 尉氏县| 庆安县| 高安市| 景德镇市| 梅河口市|