9月21日消息,上海 AI 實(shí)驗(yàn)室與商湯科技、香港中文大學(xué)、復(fù)旦大學(xué)聯(lián)手推出了一款嶄新的中文大模型,號(hào)稱"書(shū)生?浦語(yǔ)" 20B版本。這一重要的科技成果宣布了一次巨大的突破,該模型的性能和功能在多個(gè)方面都取得了顯著提升。據(jù)了解,這款 20B 版本的模型是基于 2.3T Tokens的預(yù)訓(xùn)練語(yǔ)料從頭訓(xùn)練的,具有強(qiáng)大的理解、推理、數(shù)學(xué)和編程能力,同時(shí)也在文本處理和安全性方面有了巨大的進(jìn)步。
新發(fā)布的書(shū)生?浦語(yǔ) 20B 模型引人注目的一點(diǎn)是其卓越性能。盡管參數(shù)量不到 Llama2-70B的三分之一,但它在性能測(cè)試中表現(xiàn)出與相似規(guī)模模型相媲美的水平,實(shí)現(xiàn)了多方面的綜合性能提升。模型還支持?jǐn)?shù)十類插件和上萬(wàn)個(gè) API功能,具備了代碼解釋和反思修正的能力,這使得它能夠適應(yīng)廣泛的應(yīng)用場(chǎng)景。
與此前的模型相比,書(shū)生?浦語(yǔ) 20B 版本在文本處理方面有了顯著改進(jìn)。它能夠有效支持長(zhǎng)文理解、長(zhǎng)文生成和超長(zhǎng)對(duì)話,同時(shí)還支持高達(dá) 16K字符的語(yǔ)境長(zhǎng)度。這一特性將為處理復(fù)雜的文本任務(wù)提供更大的靈活性和效率。
在安全性方面,研究團(tuán)隊(duì)采用了兩階段價(jià)值對(duì)齊(SFT 和RLHF)以及專家紅隊(duì)的對(duì)抗訓(xùn)練,顯著提高了模型的安全性。這一舉措旨在防止不良用途,確保模型在實(shí)際應(yīng)用中能夠安全可靠地運(yùn)行。
最后值得一提的是,書(shū)生?浦語(yǔ) 20B模型的開(kāi)源工具鏈也經(jīng)過(guò)全面升級(jí),包括預(yù)訓(xùn)練框架、低成本微調(diào)框架、部署推理框架、評(píng)測(cè)框架以及智能體框架,這將有助于開(kāi)發(fā)者更好地利用和應(yīng)用這一創(chuàng)新技術(shù)。
本文鏈接:http://www.www897cc.com/showinfo-45-2018-0.html新一代AI大模型登場(chǎng):書(shū)生?浦語(yǔ) 20B 單卡輕松應(yīng)對(duì)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 2000億參數(shù)!“鵬城?腦海”助力國(guó)產(chǎn)AI算力平臺(tái)實(shí)現(xiàn)突破