日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

當前位置:首頁 > 科技  > 軟件

科大訊飛:純國產算力的星火 X1 新版本預計在 3 月內完成,全面對標甚至超過 OpenAI o1

來源: 責編: 時間:2025-02-14 12:04:29 159觀看
導讀 2 月 13 日消息,科大訊飛今晚發布了最新的投資者關系活動記錄表,主要針對 DeepSeek 方面的問題進行解答。科大訊飛表示,正在訓練的純國產算力的星火 X1 新版本預計在 3 月內完成,預期可以實現數學答題和過程思維

2 月 13 日消息,科大訊飛今晚發布了最新的投資者關系活動記錄表,主要針對 DeepSeek 方面的問題進行解答。ol928資訊網——每日最新資訊28at.com

科大訊飛表示,正在訓練的純國產算力的星火 X1 新版本預計在 3 月內完成,預期可以實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。ol928資訊網——每日最新資訊28at.com

此外,科大訊飛還表示他們正在將 X1 深度推理模型進一步結合與中國教科院等諸多教育專家的合作,通過專業知識反思及長思維鏈強化學習結合,生成符合教育教學需求的“教學思維鏈”,提高復雜場景推理的邏輯正確性、專業性、可解釋性,并將率先用于教師助手、批改、輔學等全系產品創新,預計在 2025 世界數字教育大會期間發布教育專屬大模型和創新應用。ol928資訊網——每日最新資訊28at.com

IT酷哥摘選部分重點信息如下:ol928資訊網——每日最新資訊28at.com

DeepSeek R1 快速對標 o1 的主要創新是其提出并實現的 R1-Zero 強化學習訓練方案,即直接在 DeepSeek-V3-base 預訓練模型上進行大規模強化學習訓練,可在數學、代碼等推理任務上得到接近 o1 模型的效果,而不依賴任何有監督微調(SFT),這是當前國內外公開已知的、在大規模任務上獲得成功效果的首個發布成果,之前學術界已有相關研究,但因為預訓練基座模型不夠好而使得強化學習的收益不好,這一成果具有較強的創新性,大大減少了數學、代碼等任務訓練對人工標注推理過程數據的需求。ol928資訊網——每日最新資訊28at.com

DeepSeek R1 并不是唯一高水平的國產深度推理大模型。2024 年 9 月 OpenAI o1-preview 發布以后,國內技術領先的大模型廠商也在快速跟進。科大訊飛基于此前在評語模型、強化學習方面的積累,在 2024 年 10 月就實現了蒙特卡洛樹搜索(MCTS)等算法創新并跑通了深度推理模型訓練算法,因為只能使用國產算力,我們額外花費 2 個月完成華為昇騰 910B 算力的適配和優化并大幅提升訓練效率(訓練效率相比 A100 從 55% 提升到 85%),于今年 1 月 15 日完成了星火深度推理模型 X1 的訓練和發布。雖然當前 X1 模型很?。▋H 130 億參數),但依靠我們算法和數據優勢,星火 X1 已達到可以和 OpenAI o1-preview 對標的水平;隨著國產算力的逐步到位,模型參數增加后,我們完全有信心實現數學答題和過程思維鏈能力全面對標甚至超過 OpenAI o1。此外,結合與中國教科院等諸多教育專家的合作成果,我們將使得 X1 的思維鏈結果更加符合教育教學的專業要求,在教育、醫療等領域實現更大的應用賦能價值。ol928資訊網——每日最新資訊28at.com

DeepSeek 團隊圍繞 DeepSeek V3 和 R1 的訓練和推理降本,實現了多個有效的軟硬件結合深度工程優化創新,包括 MLA(通過低秩矩陣對 KV 矩陣進行壓縮顯著降低 GPU 顯存的消耗)、MTP(通過多幀預測提升數據利用率及訓練效果和推理效率)、DualPipe(通過更底層的 PTX 指令優化英偉達 GPU 計算和通信的并行)、FP8 混合精度訓練(業界首次使用 8Bit 量化浮點數方式實現超大規模模型的訓練,以往都是使用 16Bit 量化),最終 DeepSeek 基于 2048 張英偉達 H800 卡,約 560 萬美元就能完成 V3 模型的一次完整預訓練。另外,DeepSeek R1 因為涉及基于大量數據的強化學習迭代訓練,其成本未公布。ol928資訊網——每日最新資訊28at.com

和 DeepSeek 類似,科大訊飛受限于有限的算力資源,過去幾年關于星火大模型訓練和推理成本效率的持續優化也做了大量投入,和 DeepSeek 直接使用英偉達 H800 卡上開展的各種工程優化不同,科大訊飛選擇了更難的全國產算力路線。從 2023 年 5 月起科大訊飛就聯合華為先后攻克了萬卡高速互聯組網、計算通信隱藏、訓練推理強交互、高吞吐推理優化以及國產算子優化等一系列難題,將通用大模型、類 o1 的深度推理模型等的訓練效率對標 A100 均從最初的 30%-50% 優化達到了 85%-95% 以上;以 DeepSeek 非??粗氐娜f卡網絡通信帶寬的利用率為例,DeepSeek 報道的是 93%,而訊飛星火做到了 95%。訓練成本也是訊飛星火大模型的競爭優勢,我們單次訓練成本和 DeepSeek V3 在一個層次,而且后面優化路徑也很明確,目前以昇騰 910B 為代表的國產硬件還不支持 FP8 精度訓練以及 DualPipe 的實現,隨著國產算力在底層能力上進一步提升,訊飛星火的訓練成本還有較大的下降空間。ol928資訊網——每日最新資訊28at.com

需要特別說明的是,大模型對算力的需求為訓練和推理兩個方面,而訓練實現的難度遠大于推理。這就是雖然陸續有公司宣布可以在國產算力平臺上提供 DeepSeek 在內等大模型的推理服務,但仍只有訊飛星火一家是訓練和推理均在國產算力上進行的,并且僅用 1 萬張 910B 國產算力卡,科大訊飛不僅用比友商少一個數量級的算力取得了大模型研發上的第一梯隊成果,而且做了大量國產算力平臺上的無人區的適配和效率優化,追求國產算力的極致效率,這比在英偉達上的實現更需要技術實力和戰略勇氣。ol928資訊網——每日最新資訊28at.com

當前所有全民下載的通用大模型 App 中, 只有訊飛星火一家是訓練和推理均在國產算力上進行的,僅用 1 萬張 910B 國產算力卡,科大訊飛不僅用比友商少一個量級的算力取得了大模型研發上的一系列成果,而且做了大量國產算力平臺上的無人區的適配和效率優化。雖然陸續有公司宣布可以在國產算力平臺上提供 DeepSeek 在內等大模型的推理服務,但目前仍只有訊飛星火一家是訓練和推理均在國產算力上進行的。ol928資訊網——每日最新資訊28at.com

本文鏈接:http://www.www897cc.com/showinfo-26-130302-0.html科大訊飛:純國產算力的星火 X1 新版本預計在 3 月內完成,全面對標甚至超過 OpenAI o1

聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com

上一篇: 為用戶提供更多選擇:消息稱蘋果仍在與百度合作為中國 iPhone 用戶開發 AI 功能,分散風險

下一篇: 好消息!鴻蒙原生版微信新年首更,朋友圈支持圖片視頻下載與轉發

標簽:
  • 熱門焦點
  • 28個SpringBoot項目中常用注解,日常開發、求職面試不再懵圈

    前言在使用SpringBoot開發中或者在求職面試中都會使用到很多注解或者問到注解相關的知識。本文主要對一些常用的注解進行了總結,同時也會舉出具體例子,供大家學習和參考。注解
  • K8S | Service服務發現

    一、背景在微服務架構中,這里以開發環境「Dev」為基礎來描述,在K8S集群中通常會開放:路由網關、注冊中心、配置中心等相關服務,可以被集群外部訪問;圖片對于測試「Tes」環境或者
  • 企業采用CRM系統的11個好處

    客戶關系管理(CRM)軟件可以為企業提供很多的好處,從客戶保留到提高生產力?! RM軟件用于企業收集客戶互動,以改善客戶體驗和滿意度?! RM軟件市場規模如今超過580
  • .NET 程序的 GDI 句柄泄露的再反思

    一、背景1. 講故事上個月我寫過一篇 如何洞察 C# 程序的 GDI 句柄泄露 文章,當時用的是 GDIView + WinDbg 把問題搞定,前者用來定位泄露資源,后者用來定位泄露代碼,后面有朋友反
  • 一文掌握 Golang 模糊測試(Fuzz Testing)

    模糊測試(Fuzz Testing)模糊測試(Fuzz Testing)是通過向目標系統提供非預期的輸入并監視異常結果來發現軟件漏洞的方法??梢杂脕戆l現應用程序、操作系統和網絡協議等中的漏洞或
  • 微軟邀請 Microsoft 365 商業用戶,測試視頻編輯器 Clipchamp

    8 月 1 日消息,微軟近日宣布即將面向 Microsoft 365 商業用戶,開放 Clipchamp 應用,邀請用戶通過該應用來編輯視頻。微軟于 2021 年收購 Clipchamp,隨后開始逐步整合到 Microsof
  • iQOO Neo8 Pro搶先上架:首發天璣9200+ 安卓性能之王

    經過了一段時間的密集爆料,昨日iQOO官方如期對外宣布:將于5月23日推出全新的iQOO Neo8系列新品,官方稱這是一款擁有旗艦級性能調校的作品。隨著發布時
  • iQOO Neo8 Pro真機諜照曝光:天璣9200+和V1+旗艦雙芯加持

    去年10月,iQOO推出了iQOO Neo7系列機型,不僅搭載了天璣9000+,而且是同價位唯一一款天璣9000+直屏旗艦,一經上市便受到了用戶的廣泛關注。在時隔半年后,
  • DRAM存儲器10月價格下跌,NAND閃存本月價格與上月持平

    10月30日,據韓國媒體消息,自今年年初以來一直在上漲的 DRAM 存儲器的交易價格僅在本月就下跌了近 10%,此次是全年首次降價,而NAND 閃存本月價格與上月持平。市
Top 主站蜘蛛池模板: 蒙山县| 庆城县| 高州市| 潞西市| 平昌县| 宜兴市| 汾阳市| 马尔康县| 扎兰屯市| 读书| 洛宁县| 象山县| 讷河市| 安多县| 光泽县| 聂拉木县| 方城县| 龙州县| 澎湖县| 容城县| 遵化市| 杭锦旗| 湟中县| 河曲县| 郁南县| 乾安县| 公安县| 汶川县| 蛟河市| 嘉禾县| 柏乡县| 北碚区| 吉木萨尔县| 谷城县| 武宣县| 陆川县| 汤阴县| 翁牛特旗| 宝坻区| 哈密市| 焦作市|