1 月 10 日,中國電信星辰語義大模型 TeleChat-7B 版本宣布開源,并開放 1T 高質量清洗數據集。星辰語義大模型已與昇騰 AI 基礎軟硬件完成適配,并開源了適配后的代碼。此外,中國電信還將在 1 月 20 日開源 12B 版本模型,擁抱更多開發者共建開源大模型生態。
星辰語義大模型是由中電信人工智能科技有限公司研發訓練的大語言模型,采用 1.5 萬億 Tokens 中英文高質量語料進行訓練。星辰語義大模型在業界首次提出緩解多輪幻覺的解決方案,通過關鍵信息注意力增強、知識圖譜強化、多輪知識強化、知識溯源能力增強四大技術,將 AI 大模型的幻覺率降低了 40%,這有助于大模型變得更有“人味”,真正理解問題語境,告別風馬牛不相及的答案。
目前,星辰語義大模型正在與千行百業的信息化解決方案進行融合,滿足多樣場景需求。在中國電信內部,星辰語義大模型賦能行文寫作、代碼編程、網絡故障分析以及經營分析等場景,以行文寫作為例,其平均生成字數超過 1500 字,有效采納率達到 85.7%;在對外企事業單位客戶的業務中,星辰語義大模型賦能企業經營分析、政務公開咨詢、民生訴求接待等場景,其業務覆蓋率達到 95%,多輪理解準確率達到 90%。
早在 2023 年 11 月,中國電信就在 2023 數字科技生態大會上發布了千億參數“星辰語義大模型”,并公布了后續的開源開放的時間表。本次 TeleChat-7B 版本開源了對話模型 TeleChat-7B-bot,以及其 huggingface 格式的權重文件。此外,還開源了 7B 模型的 int8 和 int4 量化版本。
在模型開發上,星辰語義大模型已與昇騰 AI 基礎軟硬件完成適配:支持 Atlas 300I pro 推理卡,具備 int8 量化能力,精度與性能表現均與業界第一梯隊持平;支持 Atlas 訓練服務器,用戶可使用昇思 MindSpore 和 PyTorch 框架進行模型訓練和推理,兩個框架下模型精度與性能均有不俗表現。
除了星辰語義大模型,目前已有 50 + 業界主流大模型基于昇騰訓練迭代,9 家伙伴攜手昇騰發布了大模型訓推一體機,昇騰以開放易用的平臺使能千模百態,為大模型創新注入動能。
本次星辰語義大模型 TeleChat-7B 版本開源,夯實了中國電信構建開放生態的重要一環,降低了大模型開發門檻,未來,中國電信將進一步攜手昇騰 AI 等合作伙伴推動中國大模型在千行百業落地,加速人工智能產業發展。
本文鏈接:http://www.www897cc.com/showinfo-26-61823-0.html中國電信星辰語義大模型正式開源,攜手昇騰共建開源大模型生態
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com