當前位置：首頁 > 元宇宙 > AI

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

來源：責編：時間：2023-10-18 17:59:39 351觀看

導讀10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數據中心中發揮重要作用，驅動著

10月18日消息，英偉達，硬件領域的人工智能巨頭，邁向新的里程碑，推出了一項旨在提升大型語言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達的 GPU 在全球領先科技公司，如微軟和OpenAI的數據中心中發揮重要作用，驅動著BingChat、ChatGPT等人工智能服務。TensorRT-LLM庫是英偉達最新的開源工具，原本是為數據中心開發的，現在已經擴展到WindowsPC。最引人矚目的特性之一是，如果Windows PC搭載英偉達GeForce RTXGPU，TensorRT-LLM能夠將LLM在該平臺上的運行速度提升至原有速度的四倍。

據ITBEAR科技資訊了解，英偉達在博客文章中詳細介紹了TensorRT-LLM對開發者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復雜的LLM任務，如寫作和編碼助手時，能夠同時輸出多個獨特的自動完成結果，從而提高性能和結果質量，讓用戶可以有更多智能的選擇。

文章中還舉例展示了TensorRT-LLM的運作方式。當提問“《心靈殺手2》集成了NVIDIA的哪些技術?”時，傳統LLM只能給出“游戲尚未公布”的無幫助回答。然而，使用TensorRT-LLM結合RAG模型，將GeForce新聞添加到向量庫中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光線追蹤等技術，而且在TensorRT-LLM的加速下，響應速度更加迅猛，為用戶提供更加智能的解決方案。

TensorRT-LLM預計將很快在英偉達的開發者網站上提供，這將為廣大開發者提供更強大的工具和資源，以更好地利用英偉達的GPU性能。

此外，英偉達還在最新的GeForce驅動更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能夠在觀看在線視頻時提供更高的分辨率增強效果，減少了壓縮效果。此外，英偉達還為擁有GeForce RTXGPU的用戶增加了TensorRT人工智能加速功能，進一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進一步提高用戶體驗，使其受益于英偉達強大的硬件和軟件創新。

標簽：英偉達

免責聲明：本網信息來自于互聯網，目的在于傳遞更多信息，并不代表本網贊同其觀點。其內容真實性、完整性不作任何保證或承諾。如若本網有任何內容侵犯您的權益，請及時聯系我們，本站將會在24小時內處理完畢。

舉報 0收藏 0打賞 0評論 0

更多>同類資訊

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

10月18日消息，微軟旗下的研究團隊最近發表了一份關于大型語言模型(LLM)的研究論文，重點關注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潛在的問題。研究團隊指出，盡管在標準基準測試中，GPT-4相較于GPT-3.5表現更加可靠，但它容易受到“越獄

10-18

微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環境

10月18日消息，微軟公司為維護社交媒體和數字平臺上的健康和和諧社區環境，減少包括偏見、仇恨和暴力內容在內的不良素材，于今年5月開始測試其AI內容審核工具Azure AI Content Safety。今天，這一工具經過多月的測試正式發布。據ITBEAR科技資訊了解，

10-18

人工智能領域融資價值飆升27%：第三季度財經亮點

10月18日消息，最新數據顯示，第三季度全球人工智能公司的融資價值同比增長27%，達到179億美元，成為風險投資領域的耀眼明星。與此同時，全球初創企業的交易總額下降了31%，僅為730億美元，凸顯出人工智能初創公司與其他行業企業之間的差異。這一迅猛

10-18

小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型

10月17日消息，百度世界大會今日在盛大舉行，百度集團副總裁兼小度科技CEO李瑩宣布了一系列創新產品的正式發布，其中包括小度添添家庭機器人、青禾學習一體機以及兩款Tiantian Casa智能音箱。小度添添家庭機器人，被譽為全球首款大模型家庭智能機器人

10-17

李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力

10月17日消息，百度創始人、董事長兼首席執行官李彥宏在百度世界 2023 上宣布文心大模型 4.0 正式發布，開啟邀請測試。這一最新版本的文心大模型被李彥宏譽為“至今最強大的”，實現了全面升級，涵蓋了理解、生成、邏輯和記憶能力等各方面，達到了令

10-17

國內首個生成式商業智能產品百度 GBI 革新發布

10月17日消息，今日在百度世界 2023 大會上，百度創始人、董事長兼首席執行官李彥宏宣布推出中國首個生成式商業智能產品——百度 GBI。據了解，百度 GBI 集成了自然語言交互、跨數據庫分析和專業知識學習三大核心功能，將傳統商業分析師需要數天才能

10-17

華為申請“Huawei eKitChat”商標，或擬推出AI聊天助手產品

10月16日消息，華為技術有限公司最近提交了一項商標注冊申請，名為“Huawei eKitChat”，在國際分類中包括科學儀器和網站服務。目前，該商標正等待實質審查。根據查詢結果，華為的“Huawei eKit”是華為今年5月推出的“華為坤靈”子品牌的英文名稱。

10-16

OpenAI調整核心價值觀：聚焦AGI成為首要使命

10月16日消息，近日，OpenAI悄然更新了其“核心價值觀”，將人工智能(AI)領域的通用人工智能(AGI)正式列為其中之一，并將其排在首位，凸顯了對AGI的強烈追求。據ITBEAR科技資訊了解，OpenAI曾在2022年9月25日的媒體截圖中公布了六個核心價值觀供其員

10-16

俄版 ChatGPT" YandexGPT 2：考試分數引發熱議

10月16日消息，YandexGPT 2，被譽為“俄版 ChatGPT”的聊天機器人，日前宣布已獲得了足夠進入大學的考試分數。據報道，該機器人在俄羅斯國家統一考試的文學科目中表現出色，獲得了55分的加權分數，接近2022年俄羅斯考生的平均成績(63分)，遠高于當地

10-16

研究揭示：AI“推理環節”電力需求高于預期

10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一項名為《持續成長的人工智慧能源足跡(The growing energy footprint of artificial intelligence)》的研究論文，該論文由科研機構Digiconomist的創始人Alex De Vries發表。這篇論文指出，未來

10-14

韓國人工智能產業：在全球“兩強競賽”中位列第六

10月13日消息，近日，韓國工業聯合會(FKI)發布了最新全球人工智能指數，對全球各國的人工智能產業水平進行了全面比較。結果顯示，美國和中國在人工智能領域依然處于主導地位，形成了一場激烈的“兩強競賽”。在這一指數中，美國穩居榜首，不僅在綜合

10-13

Adobe 領導推出全新LOGO標識，助力人工智能內容辨識

10月13日消息，Adobe 公司正領導一項全新的舉措，推出了一款用于識別人工智能工具創建或編輯的圖像和內容的全新LOGO。此舉得到了包括BBC、Microsoft、Nikon和Truepic在內的多家合作伙伴的積極支持。據ITBEAR科技資訊了解，Adobe公司的這一解決方案名

10-13

Copilot AI編程助手實際成本低于售價，微軟前CEO揭幕內幕

10月13日消息，微軟前高管、GitHub前首席執行官Nat Friedman于昨日在X平臺上發表言辭堅決的回應，駁斥了有關微軟GitHub Copilot服務虧損的傳聞。據Friedman表示，這一消息純屬虛假。針對有關GitHub Copilot虧損情況的疑慮，Friedman在評論區回復了一

10-13

科技巨頭集體行動：微軟、Adobe和谷歌支持生成式人工智能創作者

10月13日消息，谷歌宣布，對于谷歌云(Google Cloud)和谷歌辦公套件(Workspace)中的生成式人工智能系統用戶，如果他們因侵犯知識產權而受到指控，谷歌將提供法律辯護支持。這一決定是為了解決生成式人工智能技術在知識產權領域引發的爭議。此前，微軟

10-13

OpenAI年收入飆升至13億美元，月均過億美元

10月13日消息，據知情人士透露，OpenAI首席執行官山姆·阿爾特曼本周向員工宣布，公司的年化收入已達到13億美元，較夏季時增長了30%。這一數據意味著OpenAI目前每月的收入已超過1億美元。與2022年僅獲得2800萬美元的總收入相比，OpenAI的增長可謂驚人

10-13

女孩子送父母禮物送什么
女孩子送哥哥送什么禮物
女孩子送女生禮物送什么
女孩子送男孩禮物送什么
女孩子送外賣送什么禮物
女孩子送手工禮物送什么
女海王送生日禮物送什么
女孩租房送什么禮物
女海員送什么禮物
女護士送什么禮物
女好友送什么禮物
女會計送什么禮物
女監理送什么禮物
女嘉賓送什么禮物
女交警送什么禮物
女教師送什么禮物
女教師禮物送什么
女節送媽媽禮物該送什么
女教授送什么禮物
女解說送什么禮物

點擊查看更多 +

全站最新

北汽新能源與寧德時代達成合作，神行超充電池將助力極狐汽車

2024款奧迪A4L全新亮相，四款車型齊發，售價32.18-40.08萬元

Tim Cook空降成都太古里，觀戰王者榮耀賽事

OPPO Find N3全球發布：四款迷人配色露真容

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

移動端谷歌 Chrome 現支持網址拼寫錯誤檢查

熱門內容

OpenAI聊天機器人ChatGPT引入語音功能，挑戰智能語音助手巨頭
華為發布 Atlas 900 SuperCluster：支持超萬億參數的大模型訓練
Meta與微軟合作：Bing搜索引擎融入Meta AI，提供實時信息
微軟宣布11月1日推出Microsoft 365 Copilot，助力企業客戶
微軟公布全新TTS語音模型，實現自然語音交互
2000億參數！“鵬城?腦?！敝aAI算力平臺實現突破
Spotify與OpenAI合作推出語音翻譯功能，改變播客行業格局
佳能推出神經網絡工具軟件，助力攝影師提升照片品質
微軟Edge瀏覽器添新功能：Adobe Express、MathSolver和Spotify插件亮相
微軟必應聊天（Bing Chat）發布全新功能“nosearch”，智能搜索即將來臨
Copilot Chat：微軟GitHub AI助手全面支持個人用戶
BBC發布新原則：推動人工智能在新聞領域的應用
360公司推出全新生態系統：智腦大模型全面開放使用
OpenAI宣布ChatGPT具備瀏覽互聯網能力，開啟新時代
中國電信推出"啟明"網絡大模型，積極拓展MaaS服務領域

本欄最新

微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環境

人工智能領域融資價值飆升27%：第三季度財經亮點

小度添添家庭機器人隆重亮相：AI技術全面融入文心一言大模型

李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力

本文鏈接：http://www.www897cc.com/showinfo-45-2214-0.html英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇：微軟研究團隊發布GPT-4研究報告：揭示“越獄”漏洞

下一篇：英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

標簽：

熱門焦點

一份全面清單：Web3行業高薪酬的13種工作

來源：區塊鏈騎士這可能會讓許多人感到震驚，但除了成為開發人員之外，Web3還有其他高薪工作。Web3可能是現代就業市場中跨學科最多的領域，換句話說，它由許多個在不同領域中具有不同
元宇宙將會如何塑造未來的工作方式？

科幻小說家尼爾·斯蒂芬森 (Neal Stephenson) 在1992年就創造了“元宇宙”一詞，但事實上，在Facebook將其更名為Meta以反映其將這一科幻愿景變為現實的戰略重點之
游戲玩家才是最“元宇宙”的

01元宇宙的概念，最早由科幻作家尼爾·斯蒂芬森于1992年在其著作《雪崩》中提出。它指的是一個脫胎于現實世界，又與現實世界平行、相互影響，并且始終在線的虛擬世
2022年最具關注的9個頭像NFT項目

什么是 PFP NFT 項目？PFP NFT （個人資料圖片NFT）是一組獨特的數字收藏品，人們用來在互聯網平臺上代表自己。這些數字藝術作品通常是一系列可作為頭像的角色，在 Twit
冰墩墩的NFT暴漲千倍？真相則是價格暴跌、成交遇冷

《區塊鏈日報》記者查證，近日來冰墩墩數字藏品交易數量出現大幅下滑，而所謂的暴漲千倍更是有價無市的自嗨。昨日，北京冬奧會正式閉幕。在這屆冬奧會上，吉祥物“冰
2022年的Web3：定義概念并開創新范式

Web3 是關于加密和區塊鏈應該如何使用的概念，因為它是加密圈的一個離散子領域。社區機會將呈指數級增長，擴大這些子行業的人口統計范圍。追求 Web3 項目的組織仍
小眾有趣NFT藝術作品欣賞（1）

隨著NFT發展火熱，越來越多領域與NFT融合，NFT藝術在加密領域中占據了很大一部分。NFT藝術與傳統藝術有相似之處，也有完全不同的地方。NFT藝術與傳統藝術一樣，表現了
這個好萊塢影視制作公司涉足NFT，讓持有者在制作中發揮作用

前米高梅首席執行官Roger Birnbaum和AOL的接班人Mark Kimsey成立了一個新的好萊塢工作室，提供 NFT，讓持有者在制作中發揮作用Electromagnetic Productions 創始
元宇宙需要的5個重要安全功能

元宇宙的可能用途使其成為一個令人難以置信的概念，但是，就像科技界的任何事物一樣，需要做一些事情來控制其使用。元宇宙的安全功能需要仔細考慮和開發，以保護用戶

日韩成人免费在线_国产成人一二_精品国产免费人成电影在线观..._日本一区二区三区久久久久久久久不

首頁

元宇宙

NFT

區塊鏈

虛擬人

AR/VR

AI

元宇宙百科

英偉達TensorRT-LLM庫登陸Windows PC，瞄準提高性能

一份全面清單：Web3行業高薪酬的13種工作

元宇宙將會如何塑造未來的工作方式？

游戲玩家才是最“元宇宙”的

2022年最具關注的9個頭像NFT項目

冰墩墩的NFT暴漲千倍？真相則是價格暴跌、成交遇冷

2022年的Web3：定義概念并開創新范式

小眾有趣NFT藝術作品欣賞（1）

這個好萊塢影視制作公司涉足NFT，讓持有者在制作中發揮作用

元宇宙需要的5個重要安全功能

最新推薦

內容行業大變天，爆款全靠AI？

超跑與NFT的首次結合，蘭博基尼能否破局？

Web3 去中心化身份管理系統的歷史、現狀與展望

從虛擬餐廳到虛擬時裝秀，行業巨頭掀起元宇宙商標注冊潮

Meta正在研發元宇宙語音助手；廣東省462家企業申請元宇宙商標

元宇宙專題二：GameFi 深度解析，元宇宙內容雛形顯現

猜你喜歡

熱門推薦

相關資訊