9月9日消息，英偉達公司今日宣布推出了一項名為TensorRT-LLM的創新項目，旨在大幅提升其Hopper系列AIGPU上的語言模型推理性能。根據英偉達的介紹，TensorRT-LLM是一款深度優化的開源庫，利用了一系列尖端技術，包括SmoothQuant、FlashAttention和fMHA等，以加速處理大型語言模型，如GPT-3(175B)、Llama Falcom(180 B)和Bloom等模型。hIP28資訊網——每日最新資訊28at.com

hIP28資訊網——每日最新資訊28at.com

據悉，TensorRT-LLM的一個顯著特點是引入了一種名為In-FlightBatching的調度方案，這使得GPU能夠在處理大型計算密集型請求時，同時動態處理多個較小的查詢。這一創新性的方案不僅提高了GPU的性能，還使得H100型號的吞吐量提高了2倍。hIP28資訊網——每日最新資訊28at.com

hIP28資訊網——每日最新資訊28at.com

在性能測試方面，英偉達以A100作為基準，對比了H100和啟用了TensorRT-LLM的H100。在GPT-J6B模型的推理性能測試中，H100相比A100提升了4倍，而啟用了TensorRT-LLM的H100性能更是達到了A100的8倍。而在Llama2模型上，H100相比A100提升了2.6倍，而啟用了TensorRT-LLM的H100性能則高達A100的4.6倍。hIP28資訊網——每日最新資訊28at.com

hIP28資訊網——每日最新資訊28at.com

這一重大突破意味著英偉達將繼續領導AI硬件領域的發展，通過優化其GPU性能，為大型語言模型等計算密集型任務提供更快速和高效的計算支持。據ITBEAR科技資訊了解，這將對人工智能應用在各個領域的發展產生積極影響，為未來的科技創新打開更廣闊的可能性。hIP28資訊網——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-1934-0.html英偉達H100啟用TensorRT-LLM：AI推理性能飆升

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 生成式人工智能預測：2030年將重塑美國工作市場

下一篇： 藝術家聯名信呼吁美國國會關注生成式AI在藝術領域的重要性