11 月 16 日消息，微軟 Ignite 2023 大會(huì)已于今天拉開帷幕，英偉達(dá)高管出席本次大會(huì)并宣布更新 TensorRT-LLM，添加了對(duì) OpenAI Chat API 的支持。GT828資訊網(wǎng)——每日最新資訊28at.com

今年 10 月報(bào)道，英偉達(dá)面向數(shù)據(jù)中心和 Windows PC，推出 Tensor RT-LLM 開源庫。最大的特點(diǎn)是，如果 Windows PC 配備英偉達(dá) GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運(yùn)行速度提高四倍。GT828資訊網(wǎng)——每日最新資訊28at.com

GT828資訊網(wǎng)——每日最新資訊28at.com

英偉達(dá)在今天 Ignite 2023 大會(huì)上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增強(qiáng) DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。GT828資訊網(wǎng)——每日最新資訊28at.com

GT828資訊網(wǎng)——每日最新資訊28at.com

TensorRT-LLM 可以通過英偉達(dá)的 AI Workbench 在本地完成，開發(fā)者可以使用這個(gè)統(tǒng)一、易用的工具包，在 PC 或工作站上快速創(chuàng)建、測試和定制預(yù)訓(xùn)練的生成式 AI 模型和 LLM。英偉達(dá)還為此推出了搶先體驗(yàn)注冊(cè)頁面。GT828資訊網(wǎng)——每日最新資訊28at.com

英偉達(dá)將于本月晚些時(shí)候發(fā)布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。GT828資訊網(wǎng)——每日最新資訊28at.com

用戶可以在 8GB 顯存以上的 GeForce RTX 30 系列和 40 系列 GPU 上運(yùn)行，一些便攜式 Windows 設(shè)備也能使用快速、準(zhǔn)確的本地 LLM 功能。GT828資訊網(wǎng)——每日最新資訊28at.com

GT828資訊網(wǎng)——每日最新資訊28at.com

相關(guān)閱讀：GT828資訊網(wǎng)——每日最新資訊28at.com

《英偉達(dá)推出 Tensor RT-LLM，使大語言模型在搭載 RTX 的 PC 平臺(tái)上運(yùn)行速度提高 4 倍》GT828資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-45-2578-0.html英偉達(dá)預(yù)告新版 TensorRT-LLM：推理能力飆升 5 倍、8GB 以上顯卡可本地運(yùn)行，支持 OpenAI 的 Chat API

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 谷歌Gemini項(xiàng)目挑戰(zhàn)重重，GPT-4對(duì)手未如期亮相

下一篇： 微軟推出網(wǎng)頁版 Copilot，僅限 Edge 等基于 Chromium 的瀏覽器訪問