9月9日消息，英偉達(dá)公司今日宣布推出了一項(xiàng)名為TensorRT-LLM的創(chuàng)新項(xiàng)目，旨在大幅提升其Hopper系列AIGPU上的語言模型推理性能。根據(jù)英偉達(dá)的介紹，TensorRT-LLM是一款深度優(yōu)化的開源庫，利用了一系列尖端技術(shù)，包括SmoothQuant、FlashAttention和fMHA等，以加速處理大型語言模型，如GPT-3(175B)、Llama Falcom(180 B)和Bloom等模型。lCD28資訊網(wǎng)——每日最新資訊28at.com

lCD28資訊網(wǎng)——每日最新資訊28at.com

據(jù)悉，TensorRT-LLM的一個(gè)顯著特點(diǎn)是引入了一種名為In-FlightBatching的調(diào)度方案，這使得GPU能夠在處理大型計(jì)算密集型請(qǐng)求時(shí)，同時(shí)動(dòng)態(tài)處理多個(gè)較小的查詢。這一創(chuàng)新性的方案不僅提高了GPU的性能，還使得H100型號(hào)的吞吐量提高了2倍。lCD28資訊網(wǎng)——每日最新資訊28at.com

lCD28資訊網(wǎng)——每日最新資訊28at.com

在性能測試方面，英偉達(dá)以A100作為基準(zhǔn)，對(duì)比了H100和啟用了TensorRT-LLM的H100。在GPT-J6B模型的推理性能測試中，H100相比A100提升了4倍，而啟用了TensorRT-LLM的H100性能更是達(dá)到了A100的8倍。而在Llama2模型上，H100相比A100提升了2.6倍，而啟用了TensorRT-LLM的H100性能則高達(dá)A100的4.6倍。lCD28資訊網(wǎng)——每日最新資訊28at.com

lCD28資訊網(wǎng)——每日最新資訊28at.com

這一重大突破意味著英偉達(dá)將繼續(xù)領(lǐng)導(dǎo)AI硬件領(lǐng)域的發(fā)展，通過優(yōu)化其GPU性能，為大型語言模型等計(jì)算密集型任務(wù)提供更快速和高效的計(jì)算支持。據(jù)ITBEAR科技資訊了解，這將對(duì)人工智能應(yīng)用在各個(gè)領(lǐng)域的發(fā)展產(chǎn)生積極影響，為未來的科技創(chuàng)新打開更廣闊的可能性。lCD28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-1934-0.html英偉達(dá)H100啟用TensorRT-LLM：AI推理性能飆升

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 生成式人工智能預(yù)測：2030年將重塑美國工作市場

下一篇： 藝術(shù)家聯(lián)名信呼吁美國國會(huì)關(guān)注生成式AI在藝術(shù)領(lǐng)域的重要性