日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當(dāng)前位置:首頁(yè) > 元宇宙 > AI

360智腦7B大模型開(kāi)源,長(zhǎng)文本處理能力達(dá)50萬(wàn)字

來(lái)源: 責(zé)編: 時(shí)間:2024-04-13 16:08:24 111觀看
導(dǎo)讀4月13日消息,360公司近日在GitHub上公開(kāi)了其360智腦7B(70億參數(shù)模型),這一大模型是基于3.4萬(wàn)億Tokens的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練的,主要涵蓋了中文、英文和代碼。該模型提供了4K、32K、360K三種不同的文本長(zhǎng)度選項(xiàng),其中360K(大約50

4月13日消息,360公司近日在GitHub上公開(kāi)了其360智腦7B(70億參數(shù)模型),這一大模型是基于3.4萬(wàn)億Tokens的語(yǔ)料庫(kù)進(jìn)行訓(xùn)練的,主要涵蓋了中文、英文和代碼。該模型提供了4K、32K、360K三種不同的文本長(zhǎng)度選項(xiàng),其中360K(大約50萬(wàn)字)被360自稱為當(dāng)前國(guó)內(nèi)開(kāi)源模型中最長(zhǎng)的文本長(zhǎng)度。Avq28資訊網(wǎng)——每日最新資訊28at.com

Avq28資訊網(wǎng)——每日最新資訊28at.com

360在多個(gè)主流評(píng)測(cè)數(shù)據(jù)集上,包括C-eval、AGIeval、MMLU、CMMLU、HellaSwag、MATH、GSM8K、Humaneval、MBPP、BBH以及LAMBADA,對(duì)其模型性能進(jìn)行了全面驗(yàn)證。這些評(píng)測(cè)主要考察了模型的自然語(yǔ)言理解、知識(shí)儲(chǔ)備、數(shù)學(xué)計(jì)算和推理、代碼生成以及邏輯推理等能力。結(jié)果顯示,360模型在四個(gè)評(píng)測(cè)數(shù)據(jù)集上取得了領(lǐng)先的排名,整體平均成績(jī)位列第三。Avq28資訊網(wǎng)——每日最新資訊28at.com

Avq28資訊網(wǎng)——每日最新資訊28at.com

在專門為大語(yǔ)言模型設(shè)計(jì)的長(zhǎng)文本理解能力評(píng)測(cè)基準(zhǔn)LongBench中,360選擇了與中文長(zhǎng)文本應(yīng)用最為相關(guān)的任務(wù)進(jìn)行測(cè)試。結(jié)果顯示,360Zhinao-7B-Chat-32K模型在中文單文檔問(wèn)答、多文檔問(wèn)答、摘要以及Few-shot等任務(wù)中取得了平均第一的好成績(jī)。Avq28資訊網(wǎng)——每日最新資訊28at.com

同時(shí),在英文大海撈針測(cè)試以及360自行構(gòu)造的中文大海撈針測(cè)試中,360Zhinao-7B-Chat-360K模型均達(dá)到了98%以上的準(zhǔn)確率,顯示出優(yōu)異的長(zhǎng)文本處理能力。Avq28資訊網(wǎng)——每日最新資訊28at.com

除了模型權(quán)重之外,360還開(kāi)源了該模型的微調(diào)訓(xùn)練代碼和推理代碼等全套工具集,使得大模型相關(guān)開(kāi)發(fā)者能夠非常方便地使用這些資源,實(shí)現(xiàn)“開(kāi)箱即用”。Avq28資訊網(wǎng)——每日最新資訊28at.com

據(jù)ITBEAR科技資訊了解,360公司董事長(zhǎng)周鴻祎曾表示,大模型行業(yè)在文本長(zhǎng)度上有所追求,100萬(wàn)字將很快成為行業(yè)的標(biāo)配。他透露,360之所以將模型文本長(zhǎng)度定為360K,并選擇開(kāi)源這一能力,是為了讓整個(gè)行業(yè)能夠共享這一成果,避免重復(fù)勞動(dòng)。周鴻祎自稱是“開(kāi)源的信徒”,堅(jiān)信開(kāi)源能夠推動(dòng)行業(yè)的進(jìn)步。Avq28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-45-5156-0.html360智腦7B大模型開(kāi)源,長(zhǎng)文本處理能力達(dá)50萬(wàn)字

聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com

上一篇: OpenAI全球推介會(huì):阿爾特曼保證ChatGPT升級(jí)不涉API用戶數(shù)據(jù)

下一篇: 智能養(yǎng)寵迎來(lái)新時(shí)代,petgugu全自動(dòng)貓馬桶重磅上新

標(biāo)簽:
  • 熱門焦點(diǎn)
Top 主站蜘蛛池模板: 顺义区| 江达县| 海伦市| 那坡县| 梁平县| 华安县| 广东省| 信阳市| 康马县| 海南省| 左权县| 墨脱县| 瑞安市| 石楼县| 靖宇县| 长子县| 邓州市| 桦甸市| 南靖县| 喀什市| 玉环县| 阿克陶县| 武穴市| 华池县| 峨山| 新余市| 鄂尔多斯市| 山丹县| 本溪| 兴化市| 光泽县| 泰宁县| 莱西市| 辉县市| 黎川县| 永昌县| 县级市| 含山县| 莱西市| 泸定县| 凌源市|