數字人的AB面：在元宇宙中過氣，在AIGC中重生
來源：光錐智能作者：郝 鑫“29800元一年的虛擬主播，號稱24小時不停播，月入十幾萬，實際上卻是關鍵詞都不能回復，播了半個月，直播間還因違規被快手封禁，最終投訴無門、退款無果。&
10 月 22 日消息，科技媒體 dataconomy 昨日（10 月 21 日）發布博文，報道稱英偉達在訓練 AI 模型方面取得重大突破，發布了最新的 Normalized Transformer（nGPT）新架構，保持模型的穩定性和準確性的前提下，可以將訓練 AI 時間縮短至 1/4 或者 1/20。
nGPT 架構提升效率的秘訣在于“超球面學習”（Hyperspherical learning）這個概念。
傳統的變換器模型通常缺乏一致的幾何框架，而 nGPT 通過將嵌入、注意力矩陣和隱藏狀態等關鍵組件映射到超球面表面，確保模型各層在訓練過程中保持平衡。
這種幾何結構有助于創造更穩定高效的學習過程：
減少訓練步驟：nGPT 不再直接對模型權重應用權重衰減，而是依賴學習到的縮放參數，優化模型在訓練中的調整方式。
簡化過程：此方法消除了對 LayerNorm 或 RMSNorm 等歸一化技術的需求，使訓練過程更為簡單和快速。
英偉達團隊使用 OpenWebText 數據集進行測試，nGPT 在速度和效率上均優于傳統的 GPT 模型。對于長達 4000 個 tokens 的文本輸入，nGPT 所需的訓練輪次遠少于傳統模型，顯著縮短了訓練時間。
nGPT 的一個關鍵優勢是將歸一化（normalization）和表示學習（representation learning）結合成一個統一框架，這種設計簡化了模型架構，便于擴展和適應更復雜的混合系統。未來，nGPT 的方法可能被整合進其他類型的模型和架構，從而開發出更強大的 AI 系統。
附上參考地址
nGPT: Normalized Transformer with Representation Learning on the Hypersphere
本文鏈接：http://www.www897cc.com/showinfo-45-9228-0.html英偉達新 nGPT 架構撬動 AI 未來：超球面學習提效，訓練模型時間可縮短至 1 20
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號