元宇宙步入暗夜
撰文 | 文燁豪元宇宙的故事，似乎講不通了。 當下，刮起元宇宙熱潮的Roblox股價已跌去大半，帶頭大哥Meta也正因元宇宙虧損深陷泥潭。 再看國內，從字節“派對島&
4 月 12 日消息，科技媒體 marktechpost 昨日（4 月 11 日）發布博文，報道稱英偉達發布 Llama-3.1-Nemotron-Ultra-253B-v1，這款 2530 億參數的大型語言模型在推理能力、架構效率和生產準備度上實現重大突破。
隨著 AI 在數字基礎設施中的普及，企業與開發者需在計算成本、性能與擴展性間尋找平衡。大型語言模型（LLM）的快速發展提升了自然語言理解和對話能力，但其龐大規模常導致效率低下，限制大規模部署。
英偉達最新發布的 Llama-3.1-Nemotron-Ultra-253B-v1（簡稱 Nemotron Ultra）直面這一挑戰，該模型基于 Meta 的 Llama-3.1-405B-Instruct 架構，專為商業和企業需求設計，支持從工具使用到多輪復雜指令執行等任務。
援引博文介紹，Nemotron Ultra 采用僅解碼器的密集 Transformer 結構，通過神經架構搜索（NAS）算法優化，其創新之處在于采用跳躍注意力機制，在部分層中省略注意力模塊或替換為簡單線性層。
此外，前饋網絡（FFN）融合技術將多層 FFN 合并為更寬但更少的層，大幅縮短推理時間，同時保持性能。模型支持 128K token 的上下文窗口，可處理長篇文本，適合高級 RAG 系統和多文檔分析。
在部署效率上，Nemotron Ultra 也實現突破。它能在單 8xH100 節點上運行推理，顯著降低數據中心成本，提升企業開發者的可及性。
英偉達通過多階段后訓練進一步優化模型，包括在代碼生成、數學、對話和工具調用等任務上的監督微調，以及使用群體相對策略優化（GRPO）算法進行強化學習（RL）。這些步驟確保模型在基準測試中表現出色，并與人類交互偏好高度契合。
本文鏈接：http://www.www897cc.com/showinfo-45-12242-0.html英偉達發布 Llama-3.1-Nemotron-Ultra-253B-v1 模型，推動 AI 高效部署
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號