6 月 20 日消息，B站昨日開源了輕量級 Index-1.9B 系列模型，包含基座模型、對照組、對話模型、角色扮演模型等多個版本。4zi28資訊網(wǎng)——每日最新資訊28at.com

附官方簡介：4zi28資訊網(wǎng)——每日最新資訊28at.com

Index-1.9B base ： 基座模型，具有 19 億非詞嵌入?yún)?shù)量，在 2.8T 中英文為主的語料上預(yù)訓(xùn)練，多個評測基準上與同級別模型比處于領(lǐng)先。4zi28資訊網(wǎng)——每日最新資訊28at.com

Index-1.9B pure ： 基座模型的對照組，與 base 具有相同的參數(shù)和訓(xùn)練策略，不同之處在于嚴格過濾了該版本語料中所有指令相關(guān)的數(shù)據(jù)，以此來驗證指令對 benchmark 的影響。4zi28資訊網(wǎng)——每日最新資訊28at.com

Index-1.9B chat ：基于 index-1.9B base 通過 SFT 和 DPO 對齊后的對話模型，由于預(yù)訓(xùn)練中引入了較多互聯(lián)網(wǎng)社區(qū)語料，聊天的趣味性明顯更強。4zi28資訊網(wǎng)——每日最新資訊28at.com

Index-1.9B character ：在 SFT 和 DPO 的基礎(chǔ)上引入了 RAG 來實現(xiàn) fewshots 角色扮演定制。4zi28資訊網(wǎng)——每日最新資訊28at.com

4zi28資訊網(wǎng)——每日最新資訊28at.com

4zi28資訊網(wǎng)——每日最新資訊28at.com

據(jù)介紹，該模型在預(yù)訓(xùn)練階段使用了 2.8T 規(guī)模的數(shù)據(jù)，中英比例為 4:5，代碼占比 6%。目前，角色扮演模型內(nèi)置了角色“三三”，用戶也可以按需創(chuàng)建自己的角色。4zi28資訊網(wǎng)——每日最新資訊28at.com

項目地址：https://github.com/bilibili/Index-1.9B/blob/main/README.md4zi28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-4722-0.htmlB站開源輕量級 Index-1.9B 系列模型：2.8T 訓(xùn)練數(shù)據(jù)，支持角色扮演

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： “HumanPlus”機器人問世：可模仿人類動作彈鋼琴、疊衣服，基于中國公司平臺

下一篇： 上海人工智能實驗室發(fā)布首個 AI 高考評測結(jié)果：語數(shù)英總分最高 303 分，數(shù)學(xué)全部不及格