4月13日消息，360公司近日在GitHub上公開了其360智腦7B(70億參數(shù)模型)，這一大模型是基于3.4萬億Tokens的語料庫進(jìn)行訓(xùn)練的，主要涵蓋了中文、英文和代碼。該模型提供了4K、32K、360K三種不同的文本長度選項，其中360K(大約50萬字)被360自稱為當(dāng)前國內(nèi)開源模型中最長的文本長度。gRR28資訊網(wǎng)——每日最新資訊28at.com

gRR28資訊網(wǎng)——每日最新資訊28at.com

360在多個主流評測數(shù)據(jù)集上，包括C-eval、AGIeval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、Humaneval、MBPP、BBH以及LAMBADA，對其模型性能進(jìn)行了全面驗證。這些評測主要考察了模型的自然語言理解、知識儲備、數(shù)學(xué)計算和推理、代碼生成以及邏輯推理等能力。結(jié)果顯示，360模型在四個評測數(shù)據(jù)集上取得了領(lǐng)先的排名，整體平均成績位列第三。gRR28資訊網(wǎng)——每日最新資訊28at.com

gRR28資訊網(wǎng)——每日最新資訊28at.com

在專門為大語言模型設(shè)計的長文本理解能力評測基準(zhǔn)LongBench中，360選擇了與中文長文本應(yīng)用最為相關(guān)的任務(wù)進(jìn)行測試。結(jié)果顯示，360Zhinao-7B-Chat-32K模型在中文單文檔問答、多文檔問答、摘要以及Few-shot等任務(wù)中取得了平均第一的好成績。gRR28資訊網(wǎng)——每日最新資訊28at.com

同時，在英文大海撈針測試以及360自行構(gòu)造的中文大海撈針測試中，360Zhinao-7B-Chat-360K模型均達(dá)到了98%以上的準(zhǔn)確率，顯示出優(yōu)異的長文本處理能力。gRR28資訊網(wǎng)——每日最新資訊28at.com

除了模型權(quán)重之外，360還開源了該模型的微調(diào)訓(xùn)練代碼和推理代碼等全套工具集，使得大模型相關(guān)開發(fā)者能夠非常方便地使用這些資源，實現(xiàn)“開箱即用”。gRR28資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解，360公司董事長周鴻祎曾表示，大模型行業(yè)在文本長度上有所追求，100萬字將很快成為行業(yè)的標(biāo)配。他透露，360之所以將模型文本長度定為360K，并選擇開源這一能力，是為了讓整個行業(yè)能夠共享這一成果，避免重復(fù)勞動。周鴻祎自稱是“開源的信徒”，堅信開源能夠推動行業(yè)的進(jìn)步。gRR28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-5156-0.html360智腦7B大模型開源，長文本處理能力達(dá)50萬字

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： OpenAI全球推介會：阿爾特曼保證ChatGPT升級不涉API用戶數(shù)據(jù)

下一篇： 智能養(yǎng)寵迎來新時代，petgugu全自動貓馬桶重磅上新