11 月 27 日消息，浪潮信息今日發布了“源 2.0”基礎大模型，并宣布全面開源。源 2.0 基礎大模型包括 1026 億、518 億、21 億等三種參數規模的模型。FAi28資訊網——每日最新資訊28at.com

據介紹，源 2.0 通過使用中英文書籍、百科、論文等高質量中英文資料，降低了互聯網語料內容占比。為了獲取中文數學數據，浪潮信息清洗了從 2018 年至今約 10PB 的互聯網數據，但僅獲取到了約 10GB 的數學數據。FAi28資訊網——每日最新資訊28at.com

為了更高效地獲得相對匱乏的高質量中文數學及代碼數據集，源 2.0 采用了基于大模型的數據生產及過濾方法，在保證數據的多樣性的同時也在每一個類別上提升數據質量。FAi28資訊網——每日最新資訊28at.com

FAi28資訊網——每日最新資訊28at.com

算力方面，源 2.0 采用了非均勻流水并行的方法，綜合運用流水線并行 + 優化器參數并行 + 數據并行的策略，讓模型在流水并行各階段的顯存占用量分布更均衡，避免出現顯存瓶頸導致的訓練效率降低的問題。FAi28資訊網——每日最新資訊28at.com

FAi28資訊網——每日最新資訊28at.com

源 2.0 在評測上進行了代碼生成、數學問題求解、事實問答方面的能力測試，測試結果顯示，源 2.0 整體表現處于中上水平。FAi28資訊網——每日最新資訊28at.com

FAi28資訊網——每日最新資訊28at.com

源 2.0 采用全面開源策略，全系列模型參數和代碼均可免費下載使用。附 GitHub 頁面和論文鏈接：FAi28資訊網——每日最新資訊28at.com

代碼開源鏈接：FAi28資訊網——每日最新資訊28at.com

https://github.com/IEIT-Yuan/Yuan-2.0FAi28資訊網——每日最新資訊28at.com

論文鏈接：FAi28資訊網——每日最新資訊28at.com

https://github.com/IEIT-Yuan/Yuan-2.0/blob/main/docs/Yuan2.0_paper.pdfFAi28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-2691-0.html浪潮信息發布“源 2.0”基礎大模型，千億參數代碼開源

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 消息稱字節跳動成立新部門 Flow，發力 AI 應用層

下一篇： 蘇州中院試點生成式 AI 輔助辦案：可供參考裁判文書完成度達 70%