6 月 20 日消息,B站昨日開源了輕量級 Index-1.9B 系列模型,包含基座模型、對照組、對話模型、角色扮演模型等多個版本。
附官方簡介:
Index-1.9B base : 基座模型,具有 19 億非詞嵌入參數量,在 2.8T 中英文為主的語料上預訓練,多個評測基準上與同級別模型比處于領先。
Index-1.9B pure : 基座模型的對照組,與 base 具有相同的參數和訓練策略,不同之處在于嚴格過濾了該版本語料中所有指令相關的數據,以此來驗證指令對 benchmark 的影響。
Index-1.9B chat :基于 index-1.9B base 通過 SFT 和 DPO 對齊后的對話模型,由于預訓練中引入了較多互聯網社區語料,聊天的趣味性明顯更強。
Index-1.9B character :在 SFT 和 DPO 的基礎上引入了 RAG 來實現 fewshots 角色扮演定制。
據介紹,該模型在預訓練階段使用了 2.8T 規模的數據,中英比例為 4:5,代碼占比 6%。目前,角色扮演模型內置了角色“三三”,用戶也可以按需創建自己的角色。
項目地址:https://github.com/bilibili/Index-1.9B/blob/main/README.md
本文鏈接:http://www.www897cc.com/showinfo-45-4722-0.htmlB站開源輕量級 Index-1.9B 系列模型:2.8T 訓練數據,支持角色扮演
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com