5 月 20 日消息,英偉達(dá)今日宣布推出 NVIDIA TensorRT for RTX,支持 Windows 11 系統(tǒng),將為 GeForce RTX 全系顯卡提供 TensorRT AI 推理加速框架,速度相當(dāng)于 DirectML 方案兩倍。該框架將于 6 月通過(guò)開(kāi)發(fā)者官網(wǎng)正式推送。
技術(shù)細(xì)節(jié)顯示,TensorRT 原生兼容 Windows ML 框架,ComfyUI 應(yīng)用在其中相比 DirectML實(shí)現(xiàn)性能翻倍,而其他應(yīng)用也有1.5~1.7 倍的性能表現(xiàn)。
此外,TensorRT支持即時(shí) GPU 專屬優(yōu)化,推理庫(kù)文件體積縮減至原有 1/8。
從官方獲悉,英偉達(dá)目前已經(jīng)為超 150 個(gè) AI SDK 提供支持,并承諾本月還將推出 5 個(gè)全新的 ISV 集成,包括:
LM Studio(最新 CUDA 性能提升 30%)
Topaz Video AI(GenAI 視頻加速 CUDA)
嗶哩嗶哩(NVIDIA Broadcast Effects)
AutoDesk VRED (DLSS 4)
Chaos Enscape (DLSS 4)
英偉達(dá)表示:“當(dāng)前 AI PC 軟件生態(tài)迫使開(kāi)發(fā)者在廣泛硬件支持與高性能優(yōu)化間抉擇。全新 Windows ML 推理框架通過(guò) ONNX Runtime 構(gòu)建,與各硬件廠商優(yōu)化的 AI 執(zhí)行層無(wú)縫銜接。針對(duì) RTX 顯卡,Windows ML 會(huì)自動(dòng)調(diào)用 TensorRT for RTX—— 專為高性能快速部署優(yōu)化的推理庫(kù)。相較 DirectML,TensorRT 可為 PC 端 AI 工作負(fù)載提供超 50% 的性能提升。”
本文鏈接:http://www.www897cc.com/showinfo-119-151661-0.html英偉達(dá) TensorRT AI 推理加速向 GeForce RTX GPU 開(kāi)放,ComfyUI 性能相比 DirectML 翻倍
聲明:本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com
上一篇: Win10 Win11 效率神器 PowerToys 發(fā)布 0.91.1:改進(jìn) Command Palette