9 月 25 日消息，英偉達 9 月 23 日發布博文，宣布推出 Llama-3.1-Nemotron-51B AI 模型，源自 Meta 公司的 Llama-3.1-70B，不過創新使用神經架構搜索（NAS）方法，建立了一個高度準確和高效的模型。
Llama-3.1-Nemotron-51B 簡介Llama-3.1-Nemotron-51B AI 模型基于Meta 公司 2024 年 7 月發布的 Llama-3.1-70B 模型，共有 510 億參數。
該 AI 模型主要采用了神經架構搜索（NAS）技術微調，平衡性能和效率，在高工作負荷下，只需要一片 H100 GPU 即可運行，大大降低了內存消耗、計算復雜性以及與運行此類大型模型相關的成本。
英偉達認為這種方式在保持了出色的精度前提下，顯著降低了內存占用、內存帶寬和 FLOPs，并證明可以在創建另一個更小、更快的變體來加以推廣。
Llama-3.1-Nemotron-51B 性能相比較 Meta 的 Llama-3.1-70B 模型，Llama-3.1-Nemotron-51B 在保持了幾乎相同的精度情況下，推理速度提高了 2.2 倍。
準確率能效 MT BenchMMLUText generation(128/1024)Summarization/ RAG (2048/128)Llama-3.1- Nemotron-51B- Instruct8.9980.2%6472653Llama 3.1-70B- Instruct8.9381.66%2975339Llama 3.1-70B- Instruct (single GPU)——1274301Llama 3-70B8.9480.17%2975339效率和性能方面的突破開發 LLM 過程中面臨的主要挑戰之一是如何平衡精度與計算效率。許多大規模模型都能提供最先進的結果，但卻需要耗費大量的硬件和能源資源，這限制了它們的適用性。
英偉達的新模型在這兩個相互競爭的因素之間取得了微妙的平衡。
Llama-3.1-Nemotron-51B 實現了令人印象深刻的精度與效率權衡，減少了內存帶寬，降低了每秒浮點運算次數 (FLOP)，并減少了總體內存占用，同時不影響模型執行推理、總結和語言生成等復雜任務的能力。
改進工作量管理，提高成本效益Llama-3.1-Nemotron-51B 的一個突出特點是能夠在單個 GPU 上管理更大的工作負載。該型號允許開發人員在更具成本效益的環境中部署高性能 LLMs，在一個 H100 設備上運行以前需要多個 GPU 才能完成的任務。
Llama-3.1-Nemotron-51B 模型還減少了內存占用，在推理過程中可以在單個 GPU 上運行 4 倍以上的工作負載，從而帶來了一系列新的機遇。
架構優化：成功的關鍵Llama-3.1-Nemotron-51B 的成功主要歸功于一種新穎的結構優化方法。傳統上，LLMs 是使用相同的塊構建的，這些塊在整個模型中重復出現。
這雖然簡化了構建過程，但也帶來了效率低下的問題，特別是在內存和計算成本方面。
英偉達通過采用 NAS 技術來優化推理模型，從而解決了這些問題。該團隊采用了分塊蒸餾過程，即訓練更小、更高效的學生模型（student model），以模仿更大的教師模型（teacher model）的功能。
通過完善這些學生模型并評估其性能，英偉達開發出了 Llama-3.1 版本，在大幅降低資源需求的同時，還能提供類似的準確度。
Puzzle 算法和知識蒸餾Llama-3.1-Nemotron-51B 有別于其他模型的另一個關鍵組件，就是 Puzzle 算法。
該算法對模型中的每個潛在區塊進行評分，并確定哪些配置能在速度和精度之間取得最佳平衡。
跑分 Llama-3.1 70B-instructLlama-3.1-Nemotron-51B- Instruct 準確率winogrande85.08%84.53%99.35%arc_challenge70.39%69.20%98.30%MMLU81.66%80.20%98.21%hellaswag86.44%85.58%99.01%gsm8k92.04%91.43%99.34%truthfulqa59.86%58.63%97.94%xlsum_english33.86%31.61%93.36%MMLU Chat81.76%80.58%98.55%gsm8k Chat81.58%81.88%100.37%Instruct HumanEval (n=20)75.85%73.84%97.35%MT Bench8.938.99100.67%通過使用知識蒸餾技術，Nvidia 縮小了參考模型（Llama-3.1-70B）與 Nemotron-51B 之間的精度差距，同時顯著降低了訓練成本。
場景 Input/Output Sequence LengthLlama-3.1- Nemotron- InstructLlama-3.1-70B-InstructRatioLlama (TP1)Chatbot128/1285478 (TP1)2645 (TP1)2.072645Text generation128/10246472 (TP1)2975 (TP4)2.171274Long text generation128/20484910 (TP2)2786 (TP4)1.76646System 2 reasoning128/40963855 (TP2)1828 (TP4)2.11313Summarization/ RAG2048/128653 (TP1)339 (TP4)1.92300Stress test 12048/20482622 (TP2)1336 (TP4)1.96319
附上參考地址
Advancing the Accuracy-Efficiency Frontier with Llama-3.1-Nemotron-51B
Nvidia AI Releases Llama-3.1-Nemotron-51B: A New LLM that Enables Running 4x Larger Workloads on a Single GPU During Inference
本文鏈接：http://www.www897cc.com/showinfo-45-7797-0.html英偉達發布 Llama-3.1-Nemotron-51B AI 模型：創新神經架構搜索等技術讓單 H100 GPU 運行 4 倍以上負載
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
上一篇： 星紀魅族正在開發星紀戰車、機器人等新品
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號
