智能人機交互技術的春晚大考
1月初的一個早晨，京東智能客戶服務產品部緊急開會，進行關于尚未對外公布的“X項目”的初討論。1月5日，這個神秘的X項目對外公布，京東成為央視2022年春晚獨家互動合
11 月 16 日消息，微軟 Ignite 2023 大會已于今天拉開帷幕，英偉達高管出席本次大會并宣布更新 TensorRT-LLM，添加了對 OpenAI Chat API 的支持。
今年 10 月報道，英偉達面向數據中心和 Windows PC，推出 Tensor RT-LLM 開源庫。最大的特點是，如果 Windows PC 配備英偉達 GeForce RTX GPU，TensorRT-LLM 可以讓 LLM 在 Windows PC 上的運行速度提高四倍。
英偉達在今天 Ignite 2023 大會上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增強 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。
TensorRT-LLM 可以通過英偉達的 AI Workbench 在本地完成，開發者可以使用這個統一、易用的工具包，在 PC 或工作站上快速創建、測試和定制預訓練的生成式 AI 模型和 LLM。英偉達還為此推出了搶先體驗注冊頁面。
英偉達將于本月晚些時候發布 TensorRT-LLM 0.6.0 版本更新，推理性能提高 5 倍，并支持 Mistral 7B 和 Nemotron-3 8B 等其它主流 LLM。
用戶可以在 8GB 顯存以上的 GeForce RTX 30 系列和 40 系列 GPU 上運行，一些便攜式 Windows 設備也能使用快速、準確的本地 LLM 功能。
相關閱讀：
《英偉達推出 Tensor RT-LLM，使大語言模型在搭載 RTX 的 PC 平臺上運行速度提高 4 倍》
本文鏈接：http://www.www897cc.com/showinfo-45-2578-0.html英偉達預告新版 TensorRT-LLM：推理能力飆升 5 倍、8GB 以上顯卡可本地運行，支持 OpenAI 的 Chat API
聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com
Copyright ? 2016-2023 天津谷騏科技有限公司 版權所有 sitemap.xml
違法及侵權請聯系：2376512515@qq.com 津ICP備18001702號
津公網安備 12010102000574號