當(dāng)前位置：首頁 > 科技 > 網(wǎng)絡(luò)

有望改寫AI未來！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍

來源：責(zé)編：時間：2024-10-21 11:56:16 91觀看

導(dǎo)讀快科技10月20日消息，據(jù)媒體報道，NVIDIA的新研究可能徹底改變AI的未來，其研究團(tuán)隊提出了一種名為歸一化Transformer（nGPT）的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。這一架構(gòu)在超球面（hypersphere）上進(jìn)行表示學(xué)習(xí)，能夠顯著提升大型語言模

快科技10月20日消息，據(jù)媒體報道，NVIDIA的新研究可能徹底改變AI的未來，其研究團(tuán)隊提出了一種名為歸一化Transformer（nGPT）的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)。

這一架構(gòu)在超球面（hypersphere）上進(jìn)行表示學(xué)習(xí)，能夠顯著提升大型語言模型（LLM）的訓(xùn)練速度，高可達(dá)20倍，同時保持了模型的精度。

nGPT架構(gòu)的核心在于將所有向量，包括嵌入、多層感知機（MLP）、注意力矩陣和隱藏狀態(tài)，歸一化為單位范數(shù)。

這種歸一化處理使得輸入的token在超球面表面上移動，每一層模型都通過位移來貢獻(xiàn)終的輸出預(yù)測。

實驗結(jié)果表明，nGPT在訓(xùn)練時所需的步驟比標(biāo)準(zhǔn)Transformer模型減少了4到20倍，具體加速效果取決于序列長度。

例如，在1k上下文中，訓(xùn)練速度提高了4倍；在4k上下文中，提高了10倍；而在8k上下文中，更是提高了20倍。

研究人員指出，nGPT的優(yōu)化路徑從超球面上的點開始，通過位移來貢獻(xiàn)終的輸出預(yù)測，其中位移量由MLP和注意力模塊定義。

這種方法不僅提高了訓(xùn)練速度，還增強了模型的穩(wěn)定性。

有望改寫AI未來！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍

本文鏈接：http://www.www897cc.com/showinfo-17-124310-0.html有望改寫AI未來！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：比Java快15倍！國產(chǎn)編程語言MoonBit發(fā)布原生后端

下一篇：微信吃不飽視頻號發(fā)力

標(biāo)簽：

熱門焦點

Flowable工作流引擎的科普與實踐

一.引言當(dāng)我們在日常工作和業(yè)務(wù)中需要進(jìn)行各種審批流程時，可能會面臨一系列技術(shù)和業(yè)務(wù)上的挑戰(zhàn)。手動處理這些審批流程可能會導(dǎo)致開發(fā)成本的增加以及業(yè)務(wù)復(fù)雜度的上升。在這
讓我們一起聊聊文件的操作

文件【1】文件是什么？文件是保存數(shù)據(jù)的地方，是數(shù)據(jù)源的一種，比如大家經(jīng)常使用的word文檔、txt文件、excel文件、jpg文件...都是文件。文件最主要的作用就是保存數(shù)據(jù)，它既可以保
慕巖炮轟抖音，百合網(wǎng)今何在？

來源：價值研究所作者：Hernanderz“難道就因為自己的一個產(chǎn)品牛逼了，從客服到總裁，都不愿意正視自己產(chǎn)品和運營上的問題，選擇逃避了嗎？”這一番話，出自百合網(wǎng)聯(lián)合創(chuàng)
最“俊美”淘寶賣家，靠直播和短視頻圈粉，上架秒光，年銷3000萬

來源 | 電商在線文｜易琬玉編輯｜斯問受訪店鋪：Ringdoll戒之人形圖源：微博@御座的黃山、“Ringdoll戒之人形”淘寶店鋪有關(guān)外貌的評價，黃山已經(jīng)聽累了。生于1985年的他，哪
梁柱接棒兩年，騰訊音樂闖出新路子

文丨田靜出品丨牛刀財經(jīng)（niudaocaijing）7月5日，企鵝FM發(fā)布官方公告稱由于業(yè)務(wù)調(diào)整，將于9月6日正式停止運營，這意味著騰訊音樂長音頻業(yè)務(wù)走向消亡。騰訊在長音頻領(lǐng)域還在摸索。為
小米汽車電池信息疑似曝光：容量101kWh，支持800V高壓快充

7月14日消息，今日一名博主在社交媒體發(fā)布了一張疑似小米汽車電池信息的照片，顯示該電池包正是寧德時代麒麟電池，容量為101kWh，電壓為726.7V，可以預(yù)測小
消息稱小米汽車開始篩選交付中心：需至少120個車位

IT之家 7 月 7 日消息，日前，有微博簡介為“汽車行業(yè)從業(yè)者、長三角一體化擁護(hù)者”的微博用戶 @長三角行健者發(fā)文表示，據(jù)經(jīng)銷商集團(tuán)反饋，小米汽車目前
華為Mate60系列模具曝光：采用碩大圓形后置相機模組+拼接配色方案

據(jù)此前多方爆料，今年華為將開始恢復(fù)一年雙旗艦戰(zhàn)略，除上半年推出的P60系列外，往年下半年的Mate系列也將迎來更新，有望在9-10月份帶來全新的華為Mate60
首發(fā)天璣9200+ iQOO Neo8系列發(fā)布首銷售價2299元起

2023年5月23日晚，iQOO Neo8系列正式發(fā)布。其中，Neo系列首款Pro之作——iQOO Neo8 Pro強悍登場，限時售價3099元起；價位段最強性能手機iQOO Neo8同期上市

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

有望改寫AI未來！NVIDIA全新nGPT使訓(xùn)練速度暴增20倍

Flowable工作流引擎的科普與實踐

讓我們一起聊聊文件的操作

慕巖炮轟抖音，百合網(wǎng)今何在？

最“俊美”淘寶賣家，靠直播和短視頻圈粉，上架秒光，年銷3000萬

梁柱接棒兩年，騰訊音樂闖出新路子

小米汽車電池信息疑似曝光：容量101kWh，支持800V高壓快充

消息稱小米汽車開始篩選交付中心：需至少120個車位

華為Mate60系列模具曝光：采用碩大圓形后置相機模組+拼接配色方案

首發(fā)天璣9200+ iQOO Neo8系列發(fā)布首銷售價2299元起

最新推薦

猜你喜歡

熱門推薦

相關(guān)資訊