VR/AR迷失元宇宙“硝煙”
不溫不火的VR/AR可穿戴設(shè)備因元宇宙崛起火了一陣，又隨著元宇宙回歸平靜。1月份，微軟在 Surface 設(shè)備、HoloLens 混合現(xiàn)實硬件和 Xbox 等部門裁員，其中負責混合現(xiàn)實硬件（MR）的Holo
1 月 17 日消息，商湯科技與上海 AI 實驗室聯(lián)合香港中文大學(xué)和復(fù)旦大學(xué)今日發(fā)布了新一代大語言模型書生?浦語 2.0（InternLM2）。
據(jù)介紹，InternLM2 是在 2.6 萬億 token 的語料上訓(xùn)練得到的。沿襲第一代書生?浦語（InternLM）設(shè)定，InternLM2 包含 7B 及 20B 兩種參數(shù)規(guī)格及基座、對話等版本，繼續(xù)開源，提供免費商用授權(quán)。
目前，浦語背后的數(shù)據(jù)清洗過濾技術(shù)已經(jīng)歷三輪迭代升級，號稱僅使用約 60% 的訓(xùn)練數(shù)據(jù)即可達到使用第二代數(shù)據(jù)訓(xùn)練 1T tokens 的性能表現(xiàn)。
與第一代 InternLM 相比，InternLM2 在大規(guī)模高質(zhì)量的驗證語料上的 Loss 分布整體左移，表明其語言建模能力增強。
通過拓展訓(xùn)練窗口大小和位置編碼改進，InternLM2 支持 20 萬 tokens 的上下文，能夠一次性接受并處理約 30 萬漢字（約五六百頁的文檔）的輸入內(nèi)容。
下面表格對比了 InternLM2 各版本與 ChatGPT（GPT-3.5）以及 GPT-4 在典型評測集上的表現(xiàn)。可以看到，InternLM2 在20B 參數(shù)的中等規(guī)模上，整體表現(xiàn)接近 ChatGPT。
附開源鏈接：
Github：https://github.com/InternLM/InternLM
HuggingFace：https://huggingface.co/internlm
ModelScope：https://modelscope.cn/organization/Shanghai_AI_Laboratory
本文鏈接：http://www.www897cc.com/showinfo-45-3249-0.html商湯“書生?浦語”2.0 大語言模型開源：200K 上下文，一次可讀 30 萬漢字
聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請聯(lián)系：2376512515@qq.com 津ICP備18001702號
津公網(wǎng)安備 12010102000574號