在最新一期的SuperCLUE中文大模型通用基準測評中,華為憑借其7180億參數的MoE架構大模型openPangu-Ultra-MoE-718B躋身前三,與DeepSeek-V3.1、Qwen3-235B等開源模型同臺競技。這一成績的背后,是團隊對模型訓練邏輯的深度重構——通過數據質量優先、三階段預訓練、批判性思維內化等創新策略,突破了傳統“堆數據”的路徑依賴。
數據構建環節,團隊摒棄了“以量取勝”的常規做法,轉而建立“質量評估-科學篩選-精準增強”的全流程體系。在指令數據清洗階段,采用規則、模型、人工三重審核機制,確保低質量樣本被徹底過濾;在任務設計上,通過領域與任務類型的雙重維度覆蓋,結合去重算法避免冗余;針對模型易在簡單任務上過擬合的問題,團隊量化推理步驟、概念抽象度等指標,重點強化中高難度任務的訓練比例。這種對數據質量的嚴苛把控,為模型在復雜場景下的推理能力奠定了基礎。
預訓練階段,團隊將整個過程拆解為通用、推理、退火三個遞進階段。通用階段通過海量文本與代碼數據,構建模型的世界知識基礎;推理階段大幅增加泛數學、STEM及代碼數據的比重,并引入高難度多步驟推理題庫,配合詳細思維鏈(CoT)引導模型學習邏輯路徑;退火階段則通過階梯式擴展上下文長度至128K,同時增加指令類數據與Agent工具使用數據,使模型逐步掌握外部工具調用能力。這種分階段訓練策略,有效平衡了模型的基礎認知與專項能力。
針對大型語言模型普遍存在的幻覺問題,團隊提出“批判內化”機制。與傳統批判微調(CFT)依賴固定人類反饋數據不同,該機制在模型訓練完成后,通過拒絕采樣引入自我批判信號,迫使模型在生成答案時主動審視推理過程。例如,在數學推理任務中,模型需檢查邏輯鏈條是否完整、計算步驟是否準確;在代碼生成任務中,則需驗證語法正確性與功能實現度。實驗數據顯示,這一機制使模型的指令遵從性與輸出可靠性顯著提升。
在工具使用能力方面,團隊開發的ToolACE框架通過四項關鍵技術實現突破:領域工具組合技術將關聯工具(如日歷查詢與航班預訂)綁定,提供工具依賴圖;交互式目標軌跡生成采用“計劃-執行”分離策略,先由AI規劃工具調用序列,再通過模擬環境執行;多智能體對話生成引入隨機打斷、反問澄清等復雜交互;多維校驗與錯例迭代則對生成數據進行內容滿足度、狀態變化正確性等多維度評估,低分數據將反哺生成策略優化。經此訓練的模型,在復雜多輪交互中展現出精準的工具調用能力。
后訓練階段,團隊采用“漸進動態微調-強化學習-模型融合”三步策略。漸進動態微調(PDFT)通過動態調整訓練權重,避免模型對特定數據過擬合;強化學習環節選用GSPO算法,相比傳統GRPO算法在訓練穩定性上提升30%;模型融合階段則通過黑盒優化算法,自動搜索不同版本模型的最佳組合權重,生成綜合性能更強的最終模型。這一系列優化,使openPangu-718B在數學推理、代碼生成、幻覺控制等六個維度的評估中均表現優異。
從數據篩選到訓練策略,從幻覺控制到工具學習,openPangu-718B的突破印證了一個核心邏輯:大模型的競爭力不在于參數規模或數據體量,而在于對技術細節的極致打磨。當行業仍在爭論“規模定律”是否適用時,華為用實踐給出了另一種答案——通過系統性技術創新,同樣能在激烈競爭中開辟新路徑。
更多>同類資訊華為盤古718B模型脫穎而出:數據質量與技術創新雙輪驅動09-29象嶼集團攜手釘釘,借AI之力開啟數智化新篇,3萬員工共赴轉型新程象嶼集團此次與釘釘合作,不僅是AI技術平臺的引入,更是雙方對未來發展方向的高度共識。 值得一提的是,象嶼集團此次全面引入釘釘One、DingTalk A1、AI聽記、AI搜問、AI表格等釘釘AI新品,聚焦用…09-29云天勵飛加入OISA生態,以“算力積木”助力國產AI算力突破MoE大模型瓶頸憑借在 AI 推理芯片與算力架構的長期積累,云天勵飛成為 OISA 生態的重要一員。 未來,云天勵飛將繼續秉持“AI時代的加速器”愿景,持續迭代芯片技術與架構創新,攜手 OISA 生態伙伴,共同推動智能算…09-29四川資源集團攜手華為 共繪智慧礦山藍圖 探索數智化賦能新路徑封面新聞記者 付文超9月29日,記者獲悉,四川省自然資源投資集團有限責任公司(以下簡稱“四川資源集團”)與華為技術有限公司(以下簡稱“華為”)簽署框架合作協議。 根據協議,雙方將在智慧礦山規劃和建設、人工智…09-29Flash Attention作者Tri Dao:英偉達GPU主導地位或三年內瓦解,AI硬件將迎多元生態他們設計了非常好的芯片,也有非常好的軟件支持,這讓我能夠做很多有意思的事情,而這正是我追求的:能不能做出有意思的東西。舉例我做的Mamba,思路是讓模型把歷史壓縮成更小的狀態向量,而不是保存完整的KV c…09-29?長智具身智能科技公司在海南成立 智元機器人長飛光纖等攜手布局?09-29AMD與NVIDIA下一代AI GPU競速:設計迭代升級,技術差距或縮小09-29中國算力生態競速:華為開源破局,產業鏈協同共筑全球競爭力09-29奧特曼攜OpenAI大舉布局AI投資,與英偉達等合作能否成就AI未來?09-29第22屆東博會AI元素爆棚:“黑科技”互動不斷,共繪中國—東盟新藍圖09-29科技浪潮下的人文溫度:莫言憶小學課堂“粉筆頭”里的鮮活記憶09-29俄羅斯數字服務員亮相高端餐廳:AI精準推薦,重塑餐飲服務新體驗09-29高德云棲大會亮劍:空間智能賦能千行百業,構建物理世界交互新生態09-29京東JDD大會發布AI全景圖,推三大新品四大應用,繪萬億AI生態藍圖該體系依托Joy AI大模型打造豐富的系統能力和多元化智能體,通過AI技術構建電商購物、供應鏈管理等智能應用場景,系統展現了AI技術在京東電商業務中的應用,描摹出京東零售面向未來的AI電商藍圖。同時,承載新一…09-29“人機共創”三重真相:AI為翼 人為舵 共拓創作新邊界09-29點擊查看更多 +全站最新
科大訊飛P30學習機:寶媽育兒好幫手,護眼又高效,孩子學習更輕松
王心凌傾情代言!馬自達EZ-60攜雙動力上市,11.99萬起開啟合資新體驗
深藍汽車X華為乾崑長沙試駕落幕:智能增程齊發力,親子互動共團圓
MAZDA EZ-60售價11.99萬元起,王心凌代言,智能配置拉滿開啟電動新篇
小米定制服務:以頂級工藝邂逅個性色彩,三年百色計劃解鎖專屬汽車美學
小米新品發布會全覽:一圖解鎖系列新品亮點與指南熱門內容
第22屆東博會AI元素亮眼:數字智能體引路 機器人炫技展風采
AI云競爭下半場:華為以超節點、企業Agent等破局,誰能領跑產業?
2025網安周:每日互動劉宇談AI時代,知識安全成關鍵,共筑數字新未來
中國大模型DeepSeek首登Nature封面,R1訓練成本僅約208萬引關注
華為全聯接大會2025啟幕,發布全球最強算力超節點與集群
有鹿機器人+連合直租:以智能租賃模式,開啟高端場景清潔新未來
本文鏈接:http://www.www897cc.com/showinfo-45-28458-0.html華為盤古718B模型如何突圍?從數據質量到Agent能力的系統化創新
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com
上一篇: 余承東宣布:鴻蒙5終端設備達2000萬