VR/AR迷失元宇宙“硝煙”
不溫不火的VR/AR可穿戴設(shè)備因元宇宙崛起火了一陣，又隨著元宇宙回歸平靜。1月份，微軟在 Surface 設(shè)備、HoloLens 混合現(xiàn)實(shí)硬件和 Xbox 等部門裁員，其中負(fù)責(zé)混合現(xiàn)實(shí)硬件（MR）的Holo
7月25日消息，近日，北京知未智能科技有限公司在上海舉行發(fā)布會(huì)，正式推出知未智能 KDF 大模型，以及一系列基于該模型研發(fā)的金融行業(yè)工具，為相關(guān)行業(yè)的產(chǎn)業(yè)發(fā)展助力。
知未智能 KDF 大模型是一款專注于金融和商業(yè)領(lǐng)域的中文模型。在其訓(xùn)練數(shù)據(jù)中，以中文為主，融合了大量的金融數(shù)據(jù)，從而大幅提升了模型在商業(yè)和金融問題處理方面的能力。
值得一提的是，為了保證模型的通用能力，訓(xùn)練數(shù)據(jù)還融合了部分英文和代碼數(shù)據(jù)，以確保模型具備處理多種任務(wù)的能力。在訓(xùn)練過程中，知未智能 KDF 大模型采用了基于 PyTorch 優(yōu)化的 GELU 非線性激活函數(shù)，這種優(yōu)秀的激活函數(shù)有助于更精確地捕獲復(fù)雜數(shù)據(jù)特征，保障了整個(gè)開發(fā)、訓(xùn)練和部署過程的高效運(yùn)行。
為了在保證效果的同時(shí)提高可擴(kuò)展性，開發(fā)團(tuán)隊(duì)對(duì)模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了深度優(yōu)化。與 LLaMA 模型相比，知未智能 KDF 大模型在每一層使用更少的參數(shù)，有效降低了計(jì)算需求和內(nèi)存占用。與此同時(shí)，網(wǎng)絡(luò)深度也得到了加強(qiáng)，從而讓模型具備了更強(qiáng)大的表示能力，能夠?qū)W習(xí)到更為復(fù)雜的數(shù)據(jù)特征。
據(jù)ITBEAR科技資訊了解，在訓(xùn)練過程中，開發(fā)團(tuán)隊(duì)還重新調(diào)整了注意力層的 Bias，并引入了 Flash Attention 技術(shù)，以節(jié)省顯存并提高模型訓(xùn)練和推理速度。得益于這項(xiàng)技術(shù)的應(yīng)用，知未智能 KDF 大模型在有限的硬件資源下也能實(shí)現(xiàn)更高效的運(yùn)行。
基準(zhǔn)測(cè)試結(jié)果顯示，知未智能 KDF 大模型在七個(gè)自然語(yǔ)言處理任務(wù)中展現(xiàn)出穩(wěn)定的性能。在一些任務(wù)中，如 iFlytek 和 CMNLI，其表現(xiàn)相對(duì)出色。在 ExamQA 和 OCNLI 測(cè)試中，各模型的表現(xiàn)大致相同，凸顯了該模型處理不同類型文本和領(lǐng)域知識(shí)方面的能力。
CEO 段清華表示，現(xiàn)有通用大模型在具體行業(yè)應(yīng)用性和中文能力方面存在局限性，因此知未智能選擇從零開始訓(xùn)練 KDF 大模型，以提升其中文能力和行業(yè)適用性。他強(qiáng)調(diào)，在打造這款“功能強(qiáng)大、性能優(yōu)越”的中文模型過程中，開發(fā)團(tuán)隊(duì)深入理解技術(shù)細(xì)節(jié)，并將持續(xù)推動(dòng)公司產(chǎn)品的開發(fā)創(chuàng)新。
目前，知未智能 KDF 大模型已在Hugging Face上開源，并將不限制商業(yè)使用，為行業(yè)發(fā)展和應(yīng)用提供更多可能性。
本文鏈接：http://www.www897cc.com/showinfo-45-937-0.html國(guó)產(chǎn) 1400 億參數(shù)知未智能 KDF 大模型發(fā)布，聚焦金融和商業(yè)垂直領(lǐng)域
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)