快科技7月6日消息,日前,一項(xiàng)發(fā)布于GitHub的研究引發(fā)業(yè)界關(guān)注。
該研究作者認(rèn)為,華為推出的盤古大模型(Pangu Pro MoE)與阿里巴巴發(fā)布的通義千問Qwen-2.5 14B模型在注意力參數(shù)分布上有相關(guān)性,超正常范圍。
針對(duì)網(wǎng)上有聲音質(zhì)疑華為盤古大模型存在抄襲行為,華為盤古團(tuán)隊(duì)發(fā)布《關(guān)于盤古大模型開源代碼相關(guān)討論的聲明》進(jìn)行回應(yīng)。
官方表示,盤古Pro MoE開源模型是基于昇騰硬件平臺(tái)開發(fā)、訓(xùn)練的基礎(chǔ)大模型,并非基于其他廠商模型增量訓(xùn)練而來。
在架構(gòu)設(shè)計(jì)、技術(shù)特性等方面做了關(guān)鍵創(chuàng)新,是全球首個(gè)面向昇騰硬件平臺(tái)設(shè)計(jì)的同規(guī)格混合專家模型,創(chuàng)新性地提出了分組混合專家模型(MoGE)架構(gòu),有效解決了大規(guī)模分布式訓(xùn)練的負(fù)載均衡難題,提升訓(xùn)練效率。
聲明指出,盤古Pro MoE開源模型部分基礎(chǔ)組件的代碼實(shí)現(xiàn)參考了業(yè)界開源實(shí)踐,涉及其他開源大模型的部分開源代碼。
我們嚴(yán)格遵循開源許可證的要求,在開源代碼文件中清晰標(biāo)注開源代碼的版權(quán)聲明。
這不僅是開源社區(qū)的通行做法,也符合業(yè)界倡導(dǎo)的開源協(xié)作精神。
我們始終堅(jiān)持開放創(chuàng)新,尊重第三方知識(shí)產(chǎn)權(quán),同時(shí)提倡包容、公平、開放、團(tuán)結(jié)和可持續(xù)的開源理念。
據(jù)了解,6月30日,華為正式開源盤古70億參數(shù)的稠密模型、盤古Pro MoE 720億參數(shù)的混合專家模型,同時(shí)開放基于昇騰AI平臺(tái)的模型推理技術(shù)。
此次是華為首次將盤古大模型的核心能力開源。
本文鏈接:http://www.www897cc.com/showinfo-22-166889-0.html被指抄襲阿里通義千問 華為盤古回應(yīng)
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com