日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 元宇宙 > AI

商湯“書生?浦語”2.0 大語言模型開源:200K 上下文,一次可讀 30 萬漢字

來源: 責編: 時間:2024-01-22 08:39:10 302觀看
導讀 1 月 17 日消息,商湯科技與上海 AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生?浦語 2.0(InternLM2)。據介紹,InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語(I

1 月 17 日消息,商湯科技與上海 AI 實驗室聯合香港中文大學和復旦大學今日發布了新一代大語言模型書生?浦語 2.0(InternLM2)。kuw28資訊網——每日最新資訊28at.com

據介紹,InternLM2 是在 2.6 萬億 token 的語料上訓練得到的。沿襲第一代書生?浦語(InternLM)設定,InternLM2 包含 7B 及 20B 兩種參數規格及基座、對話等版本,繼續開源,提供免費商用授權。kuw28資訊網——每日最新資訊28at.com

目前,浦語背后的數據清洗過濾技術已經歷三輪迭代升級,號稱僅使用約 60% 的訓練數據即可達到使用第二代數據訓練 1T tokens 的性能表現。kuw28資訊網——每日最新資訊28at.com

kuw28資訊網——每日最新資訊28at.com

與第一代 InternLM 相比,InternLM2 在大規模高質量的驗證語料上的 Loss 分布整體左移,表明其語言建模能力增強。kuw28資訊網——每日最新資訊28at.com

kuw28資訊網——每日最新資訊28at.com

通過拓展訓練窗口大小和位置編碼改進,InternLM2 支持 20 萬 tokens 的上下文,能夠一次性接受并處理約 30 萬漢字(約五六百頁的文檔)的輸入內容。kuw28資訊網——每日最新資訊28at.com

下面表格對比了 InternLM2 各版本與 ChatGPT(GPT-3.5)以及 GPT-4 在典型評測集上的表現。可以看到,InternLM2 在20B 參數的中等規模上,整體表現接近 ChatGPT。kuw28資訊網——每日最新資訊28at.com

kuw28資訊網——每日最新資訊28at.com

附開源鏈接:kuw28資訊網——每日最新資訊28at.com

Github:

https://github.com/InternLM/InternLMkuw28資訊網——每日最新資訊28at.com

HuggingFace:

https://huggingface.co/internlmkuw28資訊網——每日最新資訊28at.com

ModelScope:

https://modelscope.cn/organization/Shanghai_AI_Laboratorykuw28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-3249-0.html商湯“書生?浦語”2.0 大語言模型開源:200K 上下文,一次可讀 30 萬漢字

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 小米申請注冊“ChatMI”“小米大模型”商標,用于智能音箱、電動汽車等

下一篇: “文生圖”再升級!學習個性化參照,無限生成多樣圖片,輕松設計玩具建筑

標簽:
  • 熱門焦點
  • 文心一言排名墊底,卻成為百度業績增長杠桿

    文/侯煜編輯/羅卿知識增強大預言模式文心一言發布后,百度公司熱度大幅提升,文心一言到底能為百度的業績帶來多大的增益成為業內關注焦點。近日,百度(NASDAQ:BIDU/09888.HK)公布了
  • 汽車元宇宙,是概念還是未來?

    作者|何文 元宇宙是未來趨勢已經無需驗證。 從概念上來看,元宇宙是兩種存在多年的概念的融合:虛擬現實和數字第二人生。這也就意味著,元宇宙所代表的是一種新的數
  • 中文在線的“元宇宙”故事,資本聽膩了?

    被譽為“元宇宙”龍頭之一的中文在線,這下尷尬了。2022年1月11日,中國移動通信聯合會元宇宙產業委員會揭牌,接納涉足“元宇宙”的8家上市公司,包括中青寶、天下秀
  • 避坑指南:遠離具有這些特性的NFT

    關于NFT,在我們的文章中一直以來都是常駐嘉賓,不止因為NFT背后隱藏的潛力,更因為在這個NFT世界里冥冥之中仿佛有一雙幕后的手,OpenSea、庫里、ERC115、視覺中國、
  • Meta、谷歌、微軟競相涌入元宇宙,小型企業該如何伺機而動?

    目前來看元宇宙不會影響到小型企業的發展,但在接下來的十年內可能會發生很多變化。很多有商業頭腦的企業家都在密切關注著元宇宙的發展。元宇宙這個詞,你一定或
  • 以太坊升級將會帶來的5個改變

    以太坊自2015年誕生以來就廣受歡迎,但最近其昂貴的交易費用和低可擴展性對執行復雜的應用程序產生了負面作用,用戶對以太坊改進的需求也日益急迫。以太坊2.0已進
  • GameFi 深度解析,元宇宙內容雛形顯現

    GameFi=Game(游戲)+Defi(去中心化金融),核心特點為“Play to Earn”。通過技術與去中心化價值觀賦能,GameFi 游戲資產化身為NFT 和代幣上鏈,具備了可驗證性和流通性;開
  • 利用元宇宙平臺10天收入160萬,風口還是虎口?

    美國Meta平臺有限公司,也就是原來的臉書公司,9日宣布,公司旗下的虛擬現實應用《地平線世界》正式向美國和加拿大的18歲以上人群開放。這也是目前Meta推出的最具象
  • 我們為什么需要Web3,距離Web3的實現還有多遠?

    當今技術正在經歷著重要的變革,許多公司正在改變他們的經營模式以求變得更加的靈活,其中有很大一部分公司采用了不同的方式來發展自己的業務。其中之一就是Web3,
Top 主站蜘蛛池模板: 安多县| 武山县| 汕尾市| 内黄县| 上虞市| 宜宾市| 韶山市| 股票| 大兴区| 沙坪坝区| 中江县| 伊宁市| 桦川县| 北流市| 竹山县| 巴林左旗| 德化县| 浏阳市| 县级市| 黄大仙区| 阿拉尔市| 鸡西市| 隆昌县| 广河县| 界首市| 天台县| 庆云县| 龙南县| 平安县| 日土县| 六枝特区| 焉耆| 瑞丽市| 凯里市| 涪陵区| 西乌珠穆沁旗| 淅川县| 巴塘县| 东阿县| 东方市| 汝阳县|