日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 資訊

百川智能發布Baichuan 2,文理兼備全面領先LLaMA 2

來源: 責編: 時間:2023-09-07 10:54:54 309觀看
導讀9月6日,在北京市科學技術委員會、中關村科技園區管理委員會、北京市海淀區政府的指導下,百川智能召開主題為“百川匯海,開源共贏”的大模型發布會,中科院院士張鈸親臨現場并發表致辭。會上,百川智能宣布正式開源

9月6日,在北京市科學技術委員會、中關村科技園區管理委員會、北京市海淀區政府的指導下,百川智能召開主題為“百川匯海,開源共贏”的大模型發布會,中科院院士張鈸親臨現場并發表致辭。會上,百川智能宣布正式開源微調后的Baichuan 2-7B、Baichuan 2-13B、Baichuan 2-13B-Chat與其4bit量化版本,并且均為免費可商用。ZEh28資訊網——每日最新資訊28at.com

2_1600_3000_gifZEh28資訊網——每日最新資訊28at.com

百川智能此次還開源了模型訓練的Check Point,并宣布將發布 Baichuan 2 技術報告,詳細介紹Baichuan 2 的訓練細節,幫助大模型學術機構、開發者和企業用戶更深入的了解其訓練過程,更好地推動大模型學術研究和社區的技術發展。ZEh28資訊網——每日最新資訊28at.com

文理兼備性能優異,全面領先 LlaMA2ZEh28資訊網——每日最新資訊28at.com

Baichuan 2-7B-Base 和 Baichuan 2-13B-Base,均基于 2.6萬億高質量多語言數據進行訓練,在保留了上一代開源模型良好的生成與創作能力,流暢的多輪對話能力以及部署門檻較低等眾多特性的基礎上,兩個模型在數學、代碼、安全、邏輯推理、語義理解等能力有顯著提升。其中Baichuan 2-13B-Base相比上一代13B模型,數學能力提升49%,代碼能力提升46%,安全能力提升37%,邏輯推理能力提升25%,語義理解能力提升15%。ZEh28資訊網——每日最新資訊28at.com

ZEh28資訊網——每日最新資訊28at.com

本次開源的兩個模型在各大評測榜單上的表現優秀,在MMLU、CMMLU、GSM8K等幾大權威評估基準中,以絕對優勢領先LLaMA2,相比其他同等參數量大模型,表現也十分亮眼,性能大幅度優于LLaMA2等同尺寸模型競品。ZEh28資訊網——每日最新資訊28at.com

更值得一提的是,根據MMLU等多個權威英文評估基準評分 Baichuan2-7B以70億的參數在英文主流任務上與130億參數量的LLaMA2持平。 WechatIMG1074ZEh28資訊網——每日最新資訊28at.com

7B參數模型的Benchmark成績ZEh28資訊網——每日最新資訊28at.com

WechatIMG1075ZEh28資訊網——每日最新資訊28at.com

13B參數模型的Benchmark成績ZEh28資訊網——每日最新資訊28at.com

Baichuan2-7B和Baichuan2-13B不僅對學術研究完全開放,開發者也僅需郵件申請獲得官方商用許可后,即可以免費商用。ZEh28資訊網——每日最新資訊28at.com

國內首創全程開源模型訓練Check Point,助力學術研究ZEh28資訊網——每日最新資訊28at.com

大模型訓練包含海量高質量數據獲取、大規模訓練集群穩定訓練、模型算法調優等多個環節。每個環節都需要大量人才、算力等資源的投入,從零到一完整訓練一個模型的高昂成本,阻礙了學術界對大模型訓練的深入研究。ZEh28資訊網——每日最新資訊28at.com

本著協作和持續改進的精神,百川智能本次開源了模型訓練從220B到2640B全過程的 Check Ponit。這對于科研機構研究大模型訓練過程、模型繼續訓練和模型的價值觀對齊等極具價值,將極大推動國內大模型的科研進展,開源訓練模型過程對國內開源生態尚屬首次。ZEh28資訊網——每日最新資訊28at.com

WechatIMG1076ZEh28資訊網——每日最新資訊28at.com

技術報告揭示訓練細節,繁榮開源生態ZEh28資訊網——每日最新資訊28at.com

當前大部分開源模型在開源過程中只是對外公開自身的模型權重,很少提及訓練細節,企業、研究機構、開發者們只能在開源模型的基礎上做有限的微調,很難進行深入研究。ZEh28資訊網——每日最新資訊28at.com

秉持更開放、更透明的理念,為幫助從業者深入了解Baichuan 2的訓練過程和相關經驗,更好地推動大模型社區的技術發展。百川智能在發布會上宣布,公開Baichuan 2的技術報告。技術報告將詳細介紹Baichuan 2 訓練的全過程,包括數據處理、模型結構優化、Scaling law、過程指標等。報告鏈接:ZEh28資訊網——每日最新資訊28at.com

https://baichuan-paper.oss-cn-beijing.aliyuncs.com/Baichuan2-technical-report.pdfZEh28資訊網——每日最新資訊28at.com

百川智能自成立之初,就將通過開源方式助力中國大模型生態繁榮作為公司的重要發展方向。成立不到四個月,便相繼發布了Baichuan-7B、Baichuan-13B兩款開源免費可商用的中文大模型,以及一款搜索增強大模型Baichuan-53B,兩款開源大模型在多個權威評測榜單均名列前茅,目前下載量超過500萬次。ZEh28資訊網——每日最新資訊28at.com

不僅如此,在今年創立的大模型公司中,百川智能是唯一一家通過《生成式人工智能服務管理暫行辦法》備案,可以正式面向公眾提供服務的企業。憑借行業領先的基礎大模型研發和創新能力,此次開源的兩款Baichuan 2大模型,得到了上下游企業的積極響應,騰訊云、阿里云、火山方舟、華為、聯發科等眾多知名企業均參加了本次發布會并與百川智能達成了合作。ZEh28資訊網——每日最新資訊28at.com

WechatIMG1057ZEh28資訊網——每日最新資訊28at.com

未來,百川智能將在開源大模型領域持續深耕,將更多的技術能力、前沿創新開放出來,與更多的合作伙伴們共同助力中國大模型生態蓬勃發展。ZEh28資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-16-8179-0.html百川智能發布Baichuan 2,文理兼備全面領先LLaMA 2

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: RNG老板財務風波:姚金成股權遭凍結 MLXG合同爭議持續

下一篇: 微信上線“騰訊混元助手”小程序 目前僅對受邀用戶開放

標簽:
  • 熱門焦點
Top 主站蜘蛛池模板: 天津市| 呼图壁县| 武隆县| 玉门市| 鄯善县| 罗江县| 隆尧县| 竹北市| 宝坻区| 泸州市| 达孜县| 吴川市| 阿拉善左旗| 新竹县| 平顺县| 栾川县| 祁连县| 五寨县| 云梦县| 钦州市| 洛川县| 彰化县| 黎平县| 荃湾区| 且末县| 延吉市| 河南省| 望城县| 桐庐县| 吕梁市| 瓮安县| 厦门市| 建湖县| 林甸县| 达孜县| 肥乡县| 大竹县| 商都县| 衡阳县| 惠东县| 五原县|