在競爭激烈的大模型領(lǐng)域,華為憑借其7180億參數(shù)的MoE架構(gòu)模型openPangu-Ultra-MoE-718B,于最新一期SuperCLUE中文大模型通用基準(zhǔn)測評中躋身前三,引發(fā)行業(yè)廣泛關(guān)注。該測評通過數(shù)學(xué)推理、科學(xué)推理、代碼生成等六大核心維度,綜合評估1260道題目,華為模型在開源與國產(chǎn)模型賽道中展現(xiàn)出強(qiáng)勁實(shí)力。
與傳統(tǒng)依賴海量數(shù)據(jù)堆砌的路徑不同,openPangu團(tuán)隊(duì)提出“以思考替代堆砌”的訓(xùn)練哲學(xué),構(gòu)建了覆蓋數(shù)據(jù)生成、篩選、增強(qiáng)的全流程質(zhì)量控制體系。團(tuán)隊(duì)建立三級(jí)審核機(jī)制,結(jié)合規(guī)則模型與人工評估,嚴(yán)格過濾低質(zhì)量樣本;同時(shí)通過去重算法與壓縮選樣技術(shù),在保證領(lǐng)域覆蓋廣度的前提下避免數(shù)據(jù)冗余。針對模型復(fù)雜場景推理能力不足的痛點(diǎn),團(tuán)隊(duì)引入自迭代拒絕采樣策略,重點(diǎn)強(qiáng)化中高難度任務(wù)訓(xùn)練,確保模型適應(yīng)真實(shí)世界的復(fù)雜需求。
在預(yù)訓(xùn)練階段,團(tuán)隊(duì)創(chuàng)新設(shè)計(jì)三階段遞進(jìn)策略:通用階段通過大規(guī)模文本與代碼學(xué)習(xí)構(gòu)建世界知識(shí)基礎(chǔ);推理階段大幅提升數(shù)學(xué)、STEM及代碼數(shù)據(jù)比重,并引入詳細(xì)思維鏈(CoT)引導(dǎo)模型學(xué)習(xí)邏輯路徑;退火階段則通過階梯式擴(kuò)展上下文長度至128K,同步增加指令類數(shù)據(jù)與Agent交互數(shù)據(jù),為模型使用外部工具奠定基礎(chǔ)。這種分階段強(qiáng)化核心能力的訓(xùn)練方式,有效平衡了模型的知識(shí)廣度與推理深度。
針對大型語言模型普遍存在的幻覺問題,研究團(tuán)隊(duì)開發(fā)出“批判內(nèi)化”機(jī)制。該機(jī)制突破傳統(tǒng)批判微調(diào)依賴固定人類反饋的局限,在模型訓(xùn)練后期引入自我批判信號(hào),使其能夠根據(jù)任務(wù)準(zhǔn)則主動(dòng)審視推理過程。實(shí)驗(yàn)數(shù)據(jù)顯示,這一創(chuàng)新使模型在邏輯鏈條完整性、指令遵從性及價(jià)值觀對齊方面顯著提升,輸出結(jié)果更加精煉可靠。
在工具使用能力提升方面,團(tuán)隊(duì)推出ToolACE合成框架,通過領(lǐng)域工具組合、交互式軌跡生成等技術(shù),生成高復(fù)雜度多輪工具調(diào)用數(shù)據(jù)。例如將日歷查詢與航班預(yù)訂工具關(guān)聯(lián),提供依賴關(guān)系圖譜;采用“計(jì)劃-執(zhí)行”分離策略模擬真實(shí)交互場景;引入多智能體對話生成復(fù)雜交互數(shù)據(jù)。多維校驗(yàn)機(jī)制則對生成數(shù)據(jù)進(jìn)行內(nèi)容滿足度、狀態(tài)變化正確性等維度評估,形成數(shù)據(jù)迭代優(yōu)化的閉環(huán)。
后訓(xùn)練階段,團(tuán)隊(duì)實(shí)施三步優(yōu)化方案:漸進(jìn)動(dòng)態(tài)微調(diào)通過平滑過渡常規(guī)SFT與動(dòng)態(tài)微調(diào)模式,避免過擬合風(fēng)險(xiǎn);強(qiáng)化學(xué)習(xí)階段采用GSPO算法提升大型MoE模型訓(xùn)練穩(wěn)定性;模型融合環(huán)節(jié)運(yùn)用黑盒優(yōu)化技術(shù),自動(dòng)搜索不同版本模型的最佳組合權(quán)重。這種系統(tǒng)性優(yōu)化策略,使最終模型在綜合性能上實(shí)現(xiàn)質(zhì)的飛躍。
openPangu-718B的成功實(shí)踐表明,大模型競爭的核心已從數(shù)據(jù)規(guī)模轉(zhuǎn)向技術(shù)深度。通過構(gòu)建質(zhì)量優(yōu)先的數(shù)據(jù)體系、設(shè)計(jì)分階段能力強(qiáng)化路徑、創(chuàng)新幻覺控制機(jī)制、開發(fā)高仿真工具學(xué)習(xí)框架,華為為行業(yè)提供了技術(shù)突破的新范式。這種對技術(shù)細(xì)節(jié)的極致打磨,正重新定義大模型時(shí)代的核心競爭力標(biāo)準(zhǔn)。
更多>同類資訊象嶼集團(tuán)攜手釘釘,借AI之力開啟數(shù)智化新篇,3萬員工共赴轉(zhuǎn)型新程象嶼集團(tuán)此次與釘釘合作,不僅是AI技術(shù)平臺(tái)的引入,更是雙方對未來發(fā)展方向的高度共識(shí)。 值得一提的是,象嶼集團(tuán)此次全面引入釘釘One、DingTalk A1、AI聽記、AI搜問、AI表格等釘釘AI新品,聚焦用…09-29云天勵(lì)飛加入OISA生態(tài),以“算力積木”助力國產(chǎn)AI算力突破MoE大模型瓶頸憑借在 AI 推理芯片與算力架構(gòu)的長期積累,云天勵(lì)飛成為 OISA 生態(tài)的重要一員。 未來,云天勵(lì)飛將繼續(xù)秉持“AI時(shí)代的加速器”愿景,持續(xù)迭代芯片技術(shù)與架構(gòu)創(chuàng)新,攜手 OISA 生態(tài)伙伴,共同推動(dòng)智能算…09-29四川資源集團(tuán)攜手華為 共繪智慧礦山藍(lán)圖 探索數(shù)智化賦能新路徑封面新聞?dòng)浾?付文超9月29日,記者獲悉,四川省自然資源投資集團(tuán)有限責(zé)任公司(以下簡稱“四川資源集團(tuán)”)與華為技術(shù)有限公司(以下簡稱“華為”)簽署框架合作協(xié)議。 根據(jù)協(xié)議,雙方將在智慧礦山規(guī)劃和建設(shè)、人工智…09-29Flash Attention作者Tri Dao:英偉達(dá)GPU主導(dǎo)地位或三年內(nèi)瓦解,AI硬件將迎多元生態(tài)他們設(shè)計(jì)了非常好的芯片,也有非常好的軟件支持,這讓我能夠做很多有意思的事情,而這正是我追求的:能不能做出有意思的東西。舉例我做的Mamba,思路是讓模型把歷史壓縮成更小的狀態(tài)向量,而不是保存完整的KV c…09-29?長智具身智能科技公司在海南成立 智元機(jī)器人長飛光纖等攜手布局?09-29AMD與NVIDIA下一代AI GPU競速:設(shè)計(jì)迭代升級(jí),技術(shù)差距或縮小09-29中國算力生態(tài)競速:華為開源破局,產(chǎn)業(yè)鏈協(xié)同共筑全球競爭力09-29奧特曼攜OpenAI大舉布局AI投資,與英偉達(dá)等合作能否成就AI未來?09-29第22屆東博會(huì)AI元素爆棚:“黑科技”互動(dòng)不斷,共繪中國—東盟新藍(lán)圖09-29科技浪潮下的人文溫度:莫言憶小學(xué)課堂“粉筆頭”里的鮮活記憶09-29俄羅斯數(shù)字服務(wù)員亮相高端餐廳:AI精準(zhǔn)推薦,重塑餐飲服務(wù)新體驗(yàn)09-29高德云棲大會(huì)亮劍:空間智能賦能千行百業(yè),構(gòu)建物理世界交互新生態(tài)09-29京東JDD大會(huì)發(fā)布AI全景圖,推三大新品四大應(yīng)用,繪萬億AI生態(tài)藍(lán)圖該體系依托Joy AI大模型打造豐富的系統(tǒng)能力和多元化智能體,通過AI技術(shù)構(gòu)建電商購物、供應(yīng)鏈管理等智能應(yīng)用場景,系統(tǒng)展現(xiàn)了AI技術(shù)在京東電商業(yè)務(wù)中的應(yīng)用,描摹出京東零售面向未來的AI電商藍(lán)圖。同時(shí),承載新一…09-29“人機(jī)共創(chuàng)”三重真相:AI為翼 人為舵 共拓創(chuàng)作新邊界09-29科普月里院士齊發(fā)力:以多樣形式播撒科學(xué)種子,點(diǎn)燃公眾科學(xué)夢09-29點(diǎn)擊查看更多 +全站最新
科大訊飛P30學(xué)習(xí)機(jī):寶媽育兒好幫手,護(hù)眼又高效,孩子學(xué)習(xí)更輕松
王心凌傾情代言!馬自達(dá)EZ-60攜雙動(dòng)力上市,11.99萬起開啟合資新體驗(yàn)
深藍(lán)汽車X華為乾崑長沙試駕落幕:智能增程齊發(fā)力,親子互動(dòng)共團(tuán)圓
MAZDA EZ-60售價(jià)11.99萬元起,王心凌代言,智能配置拉滿開啟電動(dòng)新篇
小米定制服務(wù):以頂級(jí)工藝邂逅個(gè)性色彩,三年百色計(jì)劃解鎖專屬汽車美學(xué)
小米新品發(fā)布會(huì)全覽:一圖解鎖系列新品亮點(diǎn)與指南熱門內(nèi)容
第22屆東博會(huì)AI元素亮眼:數(shù)字智能體引路 機(jī)器人炫技展風(fēng)采
AI云競爭下半場:華為以超節(jié)點(diǎn)、企業(yè)Agent等破局,誰能領(lǐng)跑產(chǎn)業(yè)?
2025網(wǎng)安周:每日互動(dòng)劉宇談AI時(shí)代,知識(shí)安全成關(guān)鍵,共筑數(shù)字新未來
中國大模型DeepSeek首登Nature封面,R1訓(xùn)練成本僅約208萬引關(guān)注
華為全聯(lián)接大會(huì)2025啟幕,發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)與集群
有鹿機(jī)器人+連合直租:以智能租賃模式,開啟高端場景清潔新未來
本文鏈接:http://www.www897cc.com/showinfo-45-28568-0.html華為盤古718B模型脫穎而出:數(shù)據(jù)質(zhì)量與技術(shù)創(chuàng)新雙輪驅(qū)動(dòng)
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: 華為盤古718B模型如何突圍?從數(shù)據(jù)質(zhì)量到Agent能力的系統(tǒng)化創(chuàng)新