7月25日消息，近日，北京知未智能科技有限公司在上海舉行發(fā)布會，正式推出知未智能 KDF 大模型，以及一系列基于該模型研發(fā)的金融行業(yè)工具，為相關(guān)行業(yè)的產(chǎn)業(yè)發(fā)展助力。RW328資訊網(wǎng)——每日最新資訊28at.com

知未智能 KDF 大模型是一款專注于金融和商業(yè)領(lǐng)域的中文模型。在其訓(xùn)練數(shù)據(jù)中，以中文為主，融合了大量的金融數(shù)據(jù)，從而大幅提升了模型在商業(yè)和金融問題處理方面的能力。RW328資訊網(wǎng)——每日最新資訊28at.com

值得一提的是，為了保證模型的通用能力，訓(xùn)練數(shù)據(jù)還融合了部分英文和代碼數(shù)據(jù)，以確保模型具備處理多種任務(wù)的能力。在訓(xùn)練過程中，知未智能 KDF 大模型采用了基于 PyTorch 優(yōu)化的 GELU 非線性激活函數(shù)，這種優(yōu)秀的激活函數(shù)有助于更精確地捕獲復(fù)雜數(shù)據(jù)特征，保障了整個開發(fā)、訓(xùn)練和部署過程的高效運行。RW328資訊網(wǎng)——每日最新資訊28at.com

RW328資訊網(wǎng)——每日最新資訊28at.com

為了在保證效果的同時提高可擴展性，開發(fā)團(tuán)隊對模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了深度優(yōu)化。與 LLaMA 模型相比，知未智能 KDF 大模型在每一層使用更少的參數(shù)，有效降低了計算需求和內(nèi)存占用。與此同時，網(wǎng)絡(luò)深度也得到了加強，從而讓模型具備了更強大的表示能力，能夠?qū)W習(xí)到更為復(fù)雜的數(shù)據(jù)特征。RW328資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，在訓(xùn)練過程中，開發(fā)團(tuán)隊還重新調(diào)整了注意力層的 Bias，并引入了 Flash Attention 技術(shù)，以節(jié)省顯存并提高模型訓(xùn)練和推理速度。得益于這項技術(shù)的應(yīng)用，知未智能 KDF 大模型在有限的硬件資源下也能實現(xiàn)更高效的運行。RW328資訊網(wǎng)——每日最新資訊28at.com

基準(zhǔn)測試結(jié)果顯示，知未智能 KDF 大模型在七個自然語言處理任務(wù)中展現(xiàn)出穩(wěn)定的性能。在一些任務(wù)中，如 iFlytek 和 CMNLI，其表現(xiàn)相對出色。在 ExamQA 和 OCNLI 測試中，各模型的表現(xiàn)大致相同，凸顯了該模型處理不同類型文本和領(lǐng)域知識方面的能力。RW328資訊網(wǎng)——每日最新資訊28at.com

CEO 段清華表示，現(xiàn)有通用大模型在具體行業(yè)應(yīng)用性和中文能力方面存在局限性，因此知未智能選擇從零開始訓(xùn)練 KDF 大模型，以提升其中文能力和行業(yè)適用性。他強調(diào)，在打造這款“功能強大、性能優(yōu)越”的中文模型過程中，開發(fā)團(tuán)隊深入理解技術(shù)細(xì)節(jié)，并將持續(xù)推動公司產(chǎn)品的開發(fā)創(chuàng)新。RW328資訊網(wǎng)——每日最新資訊28at.com

目前，知未智能 KDF 大模型已在Hugging Face上開源，并將不限制商業(yè)使用，為行業(yè)發(fā)展和應(yīng)用提供更多可能性。RW328資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-937-0.html國產(chǎn) 1400 億參數(shù)知未智能 KDF 大模型發(fā)布，聚焦金融和商業(yè)垂直領(lǐng)域

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 智能化改進(jìn)助力寶馬生產(chǎn)線：AI降低成本提高效率

下一篇： 英特爾與埃森哲聯(lián)手推出34個開源AI參考套件，助力AI部署