當前位置：首頁 > 元宇宙 > AI

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

來源：責編：時間：2023-10-18 17:59:39 365觀看

導讀10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數據中心中發揮重要作用，驅動著

10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數據中心中發揮重要作用，驅動著BingChat、ChatGPT等人工智能服務。TensorRT-LLM庫是英偉達最新的開源工具，原本是為數據中心開發的，現在已經擴展到WindowsPC。最引人矚目的特性之一是，如果Windows PC搭載英偉達GeForce RTXGPU，TensorRT-LLM能夠將LLM在該平臺上的運行速度提升至原有速度的四倍。

據ITBEAR科技資訊了解，英偉達在博客文章中詳細介紹了TensorRT-LLM對開發者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復雜的LLM任務，如寫作和編碼助手時，能夠同時輸出多個獨特的自動完成結果，從而提高性能和結果質量，讓用戶可以有更多智能的選擇。

文章中還舉例展示了TensorRT-LLM的運作方式。當提問“《心靈殺手2》集成了NVIDIA的哪些技術?”時，傳統LLM只能給出“游戲尚未公布”的無幫助回答。然而，使用TensorRT-LLM結合RAG模型，將GeForce新聞添加到向量庫中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光線追蹤等技術，而且在TensorRT-LLM的加速下，響應速度更加迅猛，為用戶提供更加智能的解決方案。

TensorRT-LLM預計將很快在英偉達的開發者網站上提供，這將為廣大開發者提供更強大的工具和資源，以更好地利用英偉達的GPU性能。

此外，英偉達還在最新的GeForce驅動更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能夠在觀看在線視頻時提供更高的分辨率增強效果，減少了壓縮效果。此外，英偉達還為擁有GeForce RTXGPU的用戶增加了TensorRT人工智能加速功能，進一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進一步提高用戶體驗，使其受益于英偉達強大的硬件和軟件創新。

標簽：英偉達

免責聲明：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其內容真實性、完整性不作任何保證或承諾。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。

舉報 0收藏 0打賞 0評論 0

更多>同類資訊

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

10月18日消息，微軟旗下的研究團隊最近發表了一份關于大型語言模型(LLM)的研究論文，重點關注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潛在的問題。研究團隊指出，盡管在標準基準測試中，GPT-4相較于GPT-3.5表現更加可靠，但它容易受到“越獄

10-18

微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環境

10月18日消息，微軟公司為維護社交媒體和數字平臺上的健康和和諧社區環境，減少包括偏見、仇恨和暴力內容在內的不良素材，于今年5月開始測試其AI內容審核工具Azure AI Content Safety。今天，這一工具經過多月的測試正式發布。據ITBEAR科技資訊了解，

10-18

人工智能領域融資價值飆升27%：第三季度財經亮點

10月18日消息，最新數據顯示，第三季度全球人工智能公司的融資價值同比增長27%，達到179億美元，成為風險投資領域的耀眼明星。與此同時，全球初創企業的交易總額下降了31%，僅為730億美元，凸顯出人工智能初創公司與其他行業企業之間的差異。這一迅猛

10-18

小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型

10月17日消息，百度世界大會今日在盛大舉行，百度集團副總裁兼小度科技CEO李瑩宣布了一系列創新產品的正式發布，其中包括小度添添家庭機器人、青禾學習一體機以及兩款Tiantian Casa智能音箱。小度添添家庭機器人，被譽為全球首款大模型家庭智能機器人

10-17

李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力

10月17日消息，百度創始人、董事長兼首席執行官李彥宏在百度世界 2023 上宣布文心大模型 4.0 正式發布，開啟邀請測試。這一最新版本的文心大模型被李彥宏譽為“至今最強大的”，實現了全面升級，涵蓋了理解、生成、邏輯和記憶能力等各方面，達到了令

10-17

國內首個生成式商業智能產品百度 GBI 革新發布

10月17日消息，今日在百度世界 2023 大會上，百度創始人、董事長兼首席執行官李彥宏宣布推出中國首個生成式商業智能產品——百度 GBI。據了解，百度 GBI 集成了自然語言交互、跨數據庫分析和專業知識學習三大核心功能，將傳統商業分析師需要數天才能

10-17

華為申請“Huawei eKitChat”商標，或擬推出AI聊天助手產品

10月16日消息，華為技術有限公司最近提交了一項商標注冊申請，名為“Huawei eKitChat”，在國際分類中包括科學儀器和網站服務。目前，該商標正等待實質審查。根據查詢結果，華為的“Huawei eKit”是華為今年5月推出的“華為坤靈”子品牌的英文名稱。

10-16

OpenAI調整核心價值觀：聚焦AGI成為首要使命

10月16日消息，近日，OpenAI悄然更新了其“核心價值觀”，將人工智能(AI)領域的通用人工智能(AGI)正式列為其中之一，并將其排在首位，凸顯了對AGI的強烈追求。據ITBEAR科技資訊了解，OpenAI曾在2022年9月25日的媒體截圖中公布了六個核心價值觀供其員

10-16

俄版 ChatGPT" YandexGPT 2：考試分數引發熱議

10月16日消息，YandexGPT 2，被譽為“俄版 ChatGPT”的聊天機器人，日前宣布已獲得了足夠進入大學的考試分數。據報道，該機器人在俄羅斯國家統一考試的文學科目中表現出色，獲得了55分的加權分數，接近2022年俄羅斯考生的平均成績(63分)，遠高于當地

10-16

研究揭示：AI“推理環節”電力需求高于預期

10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一項名為《持續成長的人工智慧能源足跡(The growing energy footprint of artificial intelligence)》的研究論文，該論文由科研機構Digiconomist的創始人Alex De Vries發表。這篇論文指出，未來

10-14

韓國人工智能產業：在全球“兩強競賽”中位列第六

10月13日消息，近日，韓國工業聯合會(FKI)發布了最新全球人工智能指數，對全球各國的人工智能產業水平進行了全面比較。結果顯示，美國和中國在人工智能領域依然處于主導地位，形成了一場激烈的“兩強競賽”。在這一指數中，美國穩居榜首，不僅在綜合

10-13

Adobe 領導推出全新LOGO標識，助力人工智能內容辨識

10月13日消息，Adobe 公司正領導一項全新的舉措，推出了一款用于識別人工智能工具創建或編輯的圖像和內容的全新LOGO。此舉得到了包括BBC、Microsoft、Nikon和Truepic在內的多家合作伙伴的積極支持。據ITBEAR科技資訊了解，Adobe公司的這一解決方案名

10-13

Copilot AI編程助手實際成本低于售價，微軟前CEO揭幕內幕

10月13日消息，微軟前高管、GitHub前首席執行官Nat Friedman于昨日在X平臺上發表言辭堅決的回應，駁斥了有關微軟GitHub Copilot服務虧損的傳聞。據Friedman表示，這一消息純屬虛假。針對有關GitHub Copilot虧損情況的疑慮，Friedman在評論區回復了一

10-13

科技巨頭集體行動：微軟、Adobe和谷歌支持生成式人工智能創作者

10月13日消息，谷歌宣布，對于谷歌云(Google Cloud)和谷歌辦公套件(Workspace)中的生成式人工智能系統用戶，如果他們因侵犯知識產權而受到指控，谷歌將提供法律辯護支持。這一決定是為了解決生成式人工智能技術在知識產權領域引發的爭議。此前，微軟

10-13

OpenAI年收入飆升至13億美元，月均過億美元

10月13日消息，據知情人士透露，OpenAI首席執行官山姆·阿爾特曼本周向員工宣布，公司的年化收入已達到13億美元，較夏季時增長了30%。這一數據意味著OpenAI目前每月的收入已超過1億美元。與2022年僅獲得2800萬美元的總收入相比，OpenAI的增長可謂驚人

10-13

女孩子送父母禮物送什么
女孩子送哥哥送什么禮物
女孩子送女生禮物送什么
女孩子送男孩禮物送什么
女孩子送外賣送什么禮物
女孩子送手工禮物送什么
女海王送生日禮物送什么
女孩租房送什么禮物
女海員送什么禮物
女護士送什么禮物
女好友送什么禮物
女會計送什么禮物
女監理送什么禮物
女嘉賓送什么禮物
女交警送什么禮物
女教師送什么禮物
女教師禮物送什么
女節送媽媽禮物該送什么
女教授送什么禮物
女解說送什么禮物

點擊查看更多 +

全站最新

北汽新能源與寧德時代達成合作，神行超充電池將助力極狐汽車

2024款奧迪A4L全新亮相，四款車型齊發，售價32.18-40.08萬元

Tim Cook空降成都太古里，觀戰王者榮耀賽事

OPPO Find N3全球發布：四款迷人配色露真容

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

移動端谷歌 Chrome 現支持網址拼寫錯誤檢查

熱門內容

OpenAI聊天機器人ChatGPT引入語音功能，挑戰智能語音助手巨頭
華為發布 Atlas 900 SuperCluster：支持超萬億參數的大模型訓練
Meta與微軟合作：Bing搜索引擎融入Meta AI，提供實時信息
微軟宣布11月1日推出Microsoft 365 Copilot，助力企業客戶
微軟公布全新TTS語音模型，實現自然語音交互
2000億參數！“鵬城?腦海”助力國產AI算力平臺實現突破
Spotify與OpenAI合作推出語音翻譯功能，改變播客行業格局
佳能推出神經網絡工具軟件，助力攝影師提升照片品質
微軟Edge瀏覽器添新功能：Adobe Express、MathSolver和Spotify插件亮相
微軟必應聊天（Bing Chat）發布全新功能“nosearch”，智能搜索即將來臨
Copilot Chat：微軟GitHub AI助手全面支持個人用戶
BBC發布新原則：推動人工智能在新聞領域的應用
360公司推出全新生態系統：智腦大模型全面開放使用
OpenAI宣布ChatGPT具備瀏覽互聯網能力，開啟新時代
中國電信推出"啟明"網絡大模型，積極拓展MaaS服務領域

本欄最新

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環境

人工智能領域融資價值飆升27%：第三季度財經亮點

小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型

李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力

本文鏈接：http://www.www897cc.com/showinfo-45-2215-0.html英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

下一篇：微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環境

標簽：

熱門焦點

元宇宙里賣酸奶，好炸裂的操作！

作者 | 李東陽來源 | 首席營銷官有沒有發現，當下的熱搜出現一個有意思的現象，那就是“情懷”不知不覺成為了主流，爺青回話題討論性非常高。前有名偵探柯南和優衣庫
汽車元宇宙，是概念還是未來？

作者｜何文元宇宙是未來趨勢已經無需驗證。從概念上來看，元宇宙是兩種存在多年的概念的融合：虛擬現實和數字第二人生。這也就意味著，元宇宙所代表的是一種新的數
智能人機交互技術的春晚大考

1月初的一個早晨，京東智能客戶服務產品部緊急開會，進行關于尚未對外公布的“X項目”的初討論。1月5日，這個神秘的X項目對外公布，京東成為央視2022年春晚獨家互動合
Meta公布AI概念“Builder Bot”；銀保監發布元宇宙相關風險提示

概述自從Meta在2月初公布財報后，其負責元宇宙的核心部門Reality Labs表現不佳，凈虧損超100億美元，隨后股價斷崖式下跌。如今，Meta開始繼續發力元宇宙，想要挽回頹勢，
音樂NFT平臺里的下一匹黑馬是誰？

NFT 銷售額在 2021 年開始暴漲，從 2018 年的僅 4069 萬美元的交易量，到 2021 年，NFT 交易量飆升至 442 億美元以上，并不斷刷新記錄并達到新的高度。預測到2025 年N
獨立故事片“Calladita”將使用 NFT 籌集資金

導演 Miguel Faus 正在轉向加密來資助他的處女作，由 Paula Grimaldo 和 Emily Mortimer 主演。“Calladita”（導演 Miguel Faus）。圖片：米格爾·福斯在過去的一年
百度虛擬人——AI手語主播首次亮相冬奧會！

除了火遍全國的冰墩墩，虛擬人也成為這屆冬奧會的一大亮點元素。以體育明星谷愛凌為原型的數智人Meet Gu最先亮相。在2月5日谷愛凌首秀、2月7日谷愛凌首金的兩天
虛擬鄧麗君后，數字人賽道開啟3.0時代

“如果右腦時代來臨，虛擬世界將是對人類才華的無限放大。” 郭曉喆稱，開發數字人形象時，自己的團隊在內部“卷”了一下：“當我們翻閱大量歷史典籍的時候，蘇小妹找到
虛擬人行業研究報告

最早的虛擬人出現于 20 世紀 80 年代，受限于技術，當時的虛擬人制作以手繪為主。21 世紀初，隨著動捕、渲染等技術的逐步發展，虛擬人相關技術開始在影視領域逐漸普及

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁

元宇宙

NFT

區塊鏈

虛擬人

AR/VR

AI

元宇宙百科

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

元宇宙里賣酸奶，好炸裂的操作！

汽車元宇宙，是概念還是未來？

智能人機交互技術的春晚大考

Meta公布AI概念“Builder Bot”；銀保監發布元宇宙相關風險提示

音樂NFT平臺里的下一匹黑馬是誰？

獨立故事片“Calladita”將使用 NFT 籌集資金

百度虛擬人——AI手語主播首次亮相冬奧會！

虛擬鄧麗君后，數字人賽道開啟3.0時代

虛擬人行業研究報告

最新推薦

這一超級富豪“逆襲”，身價大增4330億

藍標虧錢、Meta裁員：天下秀還值得砸錢元宇宙嗎？

超級碗的加密時刻：是主流信號還是“網絡超級碗2.0”？

“元宇宙第一股”Roblox首份年報未達預期，摩根大通成為首家進入元宇宙的銀行

2022年的Web3：定義概念并開創新范式

就業年齡歧視如何解決？來Web3看看

猜你喜歡

熱門推薦

相關資訊