快科技8月10日消息,據(jù)國內(nèi)媒體報道,華為將于8月12日在2025金融AI推理應(yīng)用落地與發(fā)展論壇上,發(fā)布AI推理領(lǐng)域的突破性技術(shù)成果。
據(jù)透露,這項成果或能降低中國AI推理對HBM(高帶寬內(nèi)存)技術(shù)的依賴,提升國內(nèi)AI大模型推理性能,完善中國AI推理生態(tài)的關(guān)鍵部分。
HBM(High Bandwidth Memory,高帶寬內(nèi)存)是一種基于3D堆疊技術(shù)的先進(jìn)DRAM解決方案,多層DRAM芯片垂直集成,顯著提升數(shù)據(jù)傳輸效率。具有超高帶寬與低延遲、高容量密度、高能效比等優(yōu)勢。
AI推理需頻繁調(diào)用海量模型參數(shù)(如千億級權(quán)重)和實時輸入數(shù)據(jù)。HBM的高帶寬和大容量允許GPU直接訪問完整模型,可避免傳統(tǒng)DDR內(nèi)存因帶寬不足導(dǎo)致的算力閑置。對于千億參數(shù)以上的大模型,HBM可顯著提升響應(yīng)速度。
當(dāng)下,HBM已成為高端AI芯片的標(biāo)配,訓(xùn)練側(cè)滲透率接近100%,推理側(cè)隨模型復(fù)雜化加速普及。
然而,其產(chǎn)能緊張和美國出口限制倒逼國內(nèi)廠商探索Chiplet封裝、低參數(shù)模型優(yōu)化等替代方案。
本文鏈接:http://www.www897cc.com/showinfo-22-176383-0.html華為即將發(fā)布AI推理領(lǐng)域突破性成果:或能降低對HBM內(nèi)存依賴
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。郵件:2376512515@qq.com