FMIFAwards獎項即將揭曉！
來源：X增強現實FMIF Awards未來元宇宙創新獎是由未來元宇宙創新論壇、ARinChina以及多家投資機構、媒體、研究院聯合發起的一項評選活動。旨在推動新技術的融合與集成低成本
1 月 17 日消息，商湯科技與上海 AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生?浦語 2.0（InternLM2）。
據介紹，InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語（InternLM）設定，InternLM2 包含 7B 及 20B 兩種參數規格及基座、對話等版本，繼續開源，提供免費商用授權。
目前，浦語背后的數據清洗過濾技術已經歷三輪迭代升級，號稱僅使用約 60% 的訓練數據即可達到使用第二代數據訓練 1T tokens 的性能表現。
與第一代 InternLM 相比，InternLM2 在大規模高質量的驗證語料上的 Loss 分布整體左移，表明其語言建模能力增強。
通過拓展訓練窗口大小和位置編碼改進，InternLM2 支持 20 萬 tokens 的上下文，能夠一次性接受并處理約 30 萬漢字（約五六百頁的文檔）的輸入內容。
下面表格對比了 InternLM2 各版本與 ChatGPT（GPT-3.5）以及 GPT-4 在典型評測集上的表現。可以看到，InternLM2 在20B 參數的中等規模上，整體表現接近 ChatGPT。
附開源鏈接：
Github：https://github.com/InternLM/InternLM
HuggingFace：https://huggingface.co/internlm
ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory
本文鏈接：http://www.www897cc.com/showinfo-45-3249-0.html商湯“書生?浦語”2.0 大語言模型開源：200K 上下文，一次可讀 30 萬漢字
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號