英偉達(dá)TensorRT-LLM庫(kù)登陸Windows PC，瞄準(zhǔn)提高性能
來(lái)源：
責(zé)編：
時(shí)間：2023-10-18 17:59:39
400觀看
導(dǎo)讀10月18日消息，英偉達(dá)，硬件領(lǐng)域的人工智能巨頭，邁向新的里程碑，推出了一項(xiàng)旨在提升大型語(yǔ)言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達(dá)的 GPU 在全球領(lǐng)先科技公司，如微軟和OpenAI的數(shù)據(jù)中心中發(fā)揮重要作用，驅(qū)動(dòng)著
10月18日消息，英偉達(dá)，硬件領(lǐng)域的人工智能巨頭，邁向新的里程碑，推出了一項(xiàng)旨在提升大型語(yǔ)言模型(LLM)性能的軟件工具，適用于本地Windows PC。英偉達(dá)的 GPU 在全球領(lǐng)先科技公司，如微軟和OpenAI的數(shù)據(jù)中心中發(fā)揮重要作用，驅(qū)動(dòng)著B(niǎo)ingChat、ChatGPT等人工智能服務(wù)。TensorRT-LLM庫(kù)是英偉達(dá)最新的開(kāi)源工具，原本是為數(shù)據(jù)中心開(kāi)發(fā)的，現(xiàn)在已經(jīng)擴(kuò)展到WindowsPC。最引人矚目的特性之一是，如果Windows PC搭載英偉達(dá)GeForce RTXGPU，TensorRT-LLM能夠?qū)LM在該平臺(tái)上的運(yùn)行速度提升至原有速度的四倍。QeM28資訊網(wǎng)——每日最新資訊28at.com
QeM28資訊網(wǎng)——每日最新資訊28at.com
據(jù)ITBEAR科技資訊了解，英偉達(dá)在博客文章中詳細(xì)介紹了TensorRT-LLM對(duì)開(kāi)發(fā)者和終端用戶的潛在益處。在更大的批量大小下，TensorRT-LLM的加速效果顯著，尤其在處理更復(fù)雜的LLM任務(wù)，如寫(xiě)作和編碼助手時(shí)，能夠同時(shí)輸出多個(gè)獨(dú)特的自動(dòng)完成結(jié)果，從而提高性能和結(jié)果質(zhì)量，讓用戶可以有更多智能的選擇。QeM28資訊網(wǎng)——每日最新資訊28at.com
文章中還舉例展示了TensorRT-LLM的運(yùn)作方式。當(dāng)提問(wèn)“《心靈殺手2》集成了NVIDIA的哪些技術(shù)?”時(shí)，傳統(tǒng)LLM只能給出“游戲尚未公布”的無(wú)幫助回答。然而，使用TensorRT-LLM結(jié)合RAG模型，將GeForce新聞添加到向量庫(kù)中并連接到相同的Llama2模型，不僅能提供正確答案，包括NVIDIADLSS 3.5、NVIDIAReflex和全景光線追蹤等技術(shù)，而且在TensorRT-LLM的加速下，響應(yīng)速度更加迅猛，為用戶提供更加智能的解決方案。QeM28資訊網(wǎng)——每日最新資訊28at.com
QeM28資訊網(wǎng)——每日最新資訊28at.com
TensorRT-LLM預(yù)計(jì)將很快在英偉達(dá)的開(kāi)發(fā)者網(wǎng)站上提供，這將為廣大開(kāi)發(fā)者提供更強(qiáng)大的工具和資源，以更好地利用英偉達(dá)的GPU性能。QeM28資訊網(wǎng)——每日最新資訊28at.com
此外，英偉達(dá)還在最新的GeForce驅(qū)動(dòng)更新中加入了一些基于人工智能的功能。其中包括全新的RTX Video SuperResolution功能的1.5版本，能夠在觀看在線視頻時(shí)提供更高的分辨率增強(qiáng)效果，減少了壓縮效果。此外，英偉達(dá)還為擁有GeForce RTXGPU的用戶增加了TensorRT人工智能加速功能，進(jìn)一步提升了從人工智能圖片生成器獲取圖像的速度。這一系列的更新將進(jìn)一步提高用戶體驗(yàn)，使其受益于英偉達(dá)強(qiáng)大的硬件和軟件創(chuàng)新。QeM28資訊網(wǎng)——每日最新資訊28at.com
標(biāo)簽：英偉達(dá)
免責(zé)聲明：本網(wǎng)信息來(lái)自于互聯(lián)網(wǎng)，目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)。其內(nèi)容真實(shí)性、完整性不作任何保證或承諾。如若本網(wǎng)有任何內(nèi)容侵犯您的權(quán)益，請(qǐng)及時(shí)聯(lián)系我們，本站將會(huì)在24小時(shí)內(nèi)處理完畢。
舉報(bào) 0收藏 0打賞 0分享 0
更多>同類資訊
微軟研究團(tuán)隊(duì)發(fā)布GPT-4研究報(bào)告：揭示“越獄”漏洞
10月18日消息，微軟旗下的研究團(tuán)隊(duì)最近發(fā)表了一份關(guān)于大型語(yǔ)言模型(LLM)的研究論文，重點(diǎn)關(guān)注了OpenAI的GPT-4以及其前身GPT-3.5的“可信度”和潛在的問(wèn)題。研究團(tuán)隊(duì)指出，盡管在標(biāo)準(zhǔn)基準(zhǔn)測(cè)試中，GPT-4相較于GPT-3.5表現(xiàn)更加可靠，但它容易受到“越獄
10-18
微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
10月18日消息，微軟公司為維護(hù)社交媒體和數(shù)字平臺(tái)上的健康和和諧社區(qū)環(huán)境，減少包括偏見(jiàn)、仇恨和暴力內(nèi)容在內(nèi)的不良素材，于今年5月開(kāi)始測(cè)試其AI內(nèi)容審核工具Azure AI Content Safety。今天，這一工具經(jīng)過(guò)多月的測(cè)試正式發(fā)布。據(jù)ITBEAR科技資訊了解，
10-18
人工智能領(lǐng)域融資價(jià)值飆升27%：第三季度財(cái)經(jīng)亮點(diǎn)
10月18日消息，最新數(shù)據(jù)顯示，第三季度全球人工智能公司的融資價(jià)值同比增長(zhǎng)27%，達(dá)到179億美元，成為風(fēng)險(xiǎn)投資領(lǐng)域的耀眼明星。與此同時(shí)，全球初創(chuàng)企業(yè)的交易總額下降了31%，僅為730億美元，凸顯出人工智能初創(chuàng)公司與其他行業(yè)企業(yè)之間的差異。這一迅猛
10-18
小度添添家庭機(jī)器人隆重亮相：AI技術(shù)全面融入文心一言大模型
10月17日消息，百度世界大會(huì)今日在盛大舉行，百度集團(tuán)副總裁兼小度科技CEO李瑩宣布了一系列創(chuàng)新產(chǎn)品的正式發(fā)布，其中包括小度添添家庭機(jī)器人、青禾學(xué)習(xí)一體機(jī)以及兩款Tiantian Casa智能音箱。小度添添家庭機(jī)器人，被譽(yù)為全球首款大模型家庭智能機(jī)器人
10-17
李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力
10月17日消息，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏在百度世界 2023 上宣布文心大模型 4.0 正式發(fā)布，開(kāi)啟邀請(qǐng)測(cè)試。這一最新版本的文心大模型被李彥宏譽(yù)為“至今最強(qiáng)大的”，實(shí)現(xiàn)了全面升級(jí)，涵蓋了理解、生成、邏輯和記憶能力等各方面，達(dá)到了令
10-17
國(guó)內(nèi)首個(gè)生成式商業(yè)智能產(chǎn)品百度 GBI 革新發(fā)布
10月17日消息，今日在百度世界 2023 大會(huì)上，百度創(chuàng)始人、董事長(zhǎng)兼首席執(zhí)行官李彥宏宣布推出中國(guó)首個(gè)生成式商業(yè)智能產(chǎn)品——百度 GBI。據(jù)了解，百度 GBI 集成了自然語(yǔ)言交互、跨數(shù)據(jù)庫(kù)分析和專業(yè)知識(shí)學(xué)習(xí)三大核心功能，將傳統(tǒng)商業(yè)分析師需要數(shù)天才能
10-17
華為申請(qǐng)“Huawei eKitChat”商標(biāo)，或擬推出AI聊天助手產(chǎn)品
10月16日消息，華為技術(shù)有限公司最近提交了一項(xiàng)商標(biāo)注冊(cè)申請(qǐng)，名為“Huawei eKitChat”，在國(guó)際分類中包括科學(xué)儀器和網(wǎng)站服務(wù)。目前，該商標(biāo)正等待實(shí)質(zhì)審查。根據(jù)查詢結(jié)果，華為的“Huawei eKit”是華為今年5月推出的“華為坤靈”子品牌的英文名稱。
10-16
OpenAI調(diào)整核心價(jià)值觀：聚焦AGI成為首要使命
10月16日消息，近日，OpenAI悄然更新了其“核心價(jià)值觀”，將人工智能(AI)領(lǐng)域的通用人工智能(AGI)正式列為其中之一，并將其排在首位，凸顯了對(duì)AGI的強(qiáng)烈追求。據(jù)ITBEAR科技資訊了解，OpenAI曾在2022年9月25日的媒體截圖中公布了六個(gè)核心價(jià)值觀供其員
10-16
俄版 ChatGPT" YandexGPT 2：考試分?jǐn)?shù)引發(fā)熱議
10月16日消息，YandexGPT 2，被譽(yù)為“俄版 ChatGPT”的聊天機(jī)器人，日前宣布已獲得了足夠進(jìn)入大學(xué)的考試分?jǐn)?shù)。據(jù)報(bào)道，該機(jī)器人在俄羅斯國(guó)家統(tǒng)一考試的文學(xué)科目中表現(xiàn)出色，獲得了55分的加權(quán)分?jǐn)?shù)，接近2022年俄羅斯考生的平均成績(jī)(63分)，遠(yuǎn)高于當(dāng)?shù)?/div>
10-16
研究揭示：AI“推理環(huán)節(jié)”電力需求高于預(yù)期
10月14日消息，《Cell》的姐妹期刊《Joule》本周刊登了一項(xiàng)名為《持續(xù)成長(zhǎng)的人工智慧能源足跡(The growing energy footprint of artificial intelligence)》的研究論文，該論文由科研機(jī)構(gòu)Digiconomist的創(chuàng)始人Alex De Vries發(fā)表。這篇論文指出，未來(lái)
10-14
韓國(guó)人工智能產(chǎn)業(yè)：在全球“兩強(qiáng)競(jìng)賽”中位列第六
10月13日消息，近日，韓國(guó)工業(yè)聯(lián)合會(huì)(FKI)發(fā)布了最新全球人工智能指數(shù)，對(duì)全球各國(guó)的人工智能產(chǎn)業(yè)水平進(jìn)行了全面比較。結(jié)果顯示，美國(guó)和中國(guó)在人工智能領(lǐng)域依然處于主導(dǎo)地位，形成了一場(chǎng)激烈的“兩強(qiáng)競(jìng)賽”。在這一指數(shù)中，美國(guó)穩(wěn)居榜首，不僅在綜合
10-13
Adobe 領(lǐng)導(dǎo)推出全新LOGO標(biāo)識(shí)，助力人工智能內(nèi)容辨識(shí)
10月13日消息，Adobe 公司正領(lǐng)導(dǎo)一項(xiàng)全新的舉措，推出了一款用于識(shí)別人工智能工具創(chuàng)建或編輯的圖像和內(nèi)容的全新LOGO。此舉得到了包括BBC、Microsoft、Nikon和Truepic在內(nèi)的多家合作伙伴的積極支持。據(jù)ITBEAR科技資訊了解，Adobe公司的這一解決方案名
10-13
Copilot AI編程助手實(shí)際成本低于售價(jià)，微軟前CEO揭幕內(nèi)幕
10月13日消息，微軟前高管、GitHub前首席執(zhí)行官Nat Friedman于昨日在X平臺(tái)上發(fā)表言辭堅(jiān)決的回應(yīng)，駁斥了有關(guān)微軟GitHub Copilot服務(wù)虧損的傳聞。據(jù)Friedman表示，這一消息純屬虛假。針對(duì)有關(guān)GitHub Copilot虧損情況的疑慮，F(xiàn)riedman在評(píng)論區(qū)回復(fù)了一
10-13
科技巨頭集體行動(dòng)：微軟、Adobe和谷歌支持生成式人工智能創(chuàng)作者
10月13日消息，谷歌宣布，對(duì)于谷歌云(Google Cloud)和谷歌辦公套件(Workspace)中的生成式人工智能系統(tǒng)用戶，如果他們因侵犯知識(shí)產(chǎn)權(quán)而受到指控，谷歌將提供法律辯護(hù)支持。這一決定是為了解決生成式人工智能技術(shù)在知識(shí)產(chǎn)權(quán)領(lǐng)域引發(fā)的爭(zhēng)議。此前，微軟
10-13
OpenAI年收入飆升至13億美元，月均過(guò)億美元
10月13日消息，據(jù)知情人士透露，OpenAI首席執(zhí)行官山姆·阿爾特曼本周向員工宣布，公司的年化收入已達(dá)到13億美元，較夏季時(shí)增長(zhǎng)了30%。這一數(shù)據(jù)意味著OpenAI目前每月的收入已超過(guò)1億美元。與2022年僅獲得2800萬(wàn)美元的總收入相比，OpenAI的增長(zhǎng)可謂驚人
10-13
- 女孩子送父母禮物送什么
- 女孩子送哥哥送什么禮物
- 女孩子送女生禮物送什么
- 女孩子送男孩禮物送什么
- 女孩子送外賣送什么禮物
- 女孩子送手工禮物送什么
- 女海王送生日禮物送什么
- 女孩租房送什么禮物
- 女海員送什么禮物
- 女護(hù)士送什么禮物
- 女好友送什么禮物
- 女會(huì)計(jì)送什么禮物
- 女監(jiān)理送什么禮物
- 女嘉賓送什么禮物
- 女交警送什么禮物
- 女教師送什么禮物
- 女教師禮物送什么
- 女節(jié)送媽媽禮物該送什么
- 女教授送什么禮物
- 女解說(shuō)送什么禮物
點(diǎn)擊查看更多 +
全站最新
北汽新能源與寧德時(shí)代達(dá)成合作，神行超充電池將助力極狐汽車
2024款?yuàn)W迪A4L全新亮相，四款車型齊發(fā)，售價(jià)32.18-40.08萬(wàn)元
Tim Cook空降成都太古里，觀戰(zhàn)王者榮耀賽事
OPPO Find N3全球發(fā)布：四款迷人配色露真容
微軟研究團(tuán)隊(duì)發(fā)布GPT-4研究報(bào)告：揭示“越獄”漏洞
移動(dòng)端谷歌 Chrome 現(xiàn)支持網(wǎng)址拼寫(xiě)錯(cuò)誤檢查
熱門內(nèi)容
- OpenAI聊天機(jī)器人ChatGPT引入語(yǔ)音功能，挑戰(zhàn)智能語(yǔ)音助手巨頭
- 華為發(fā)布 Atlas 900 SuperCluster：支持超萬(wàn)億參數(shù)的大模型訓(xùn)練
- Meta與微軟合作：Bing搜索引擎融入Meta AI，提供實(shí)時(shí)信息
- 微軟宣布11月1日推出Microsoft 365 Copilot，助力企業(yè)客戶
- 微軟公布全新TTS語(yǔ)音模型，實(shí)現(xiàn)自然語(yǔ)音交互
- 2000億參數(shù)！“鵬城?腦海”助力國(guó)產(chǎn)AI算力平臺(tái)實(shí)現(xiàn)突破
- Spotify與OpenAI合作推出語(yǔ)音翻譯功能，改變播客行業(yè)格局
- 佳能推出神經(jīng)網(wǎng)絡(luò)工具軟件，助力攝影師提升照片品質(zhì)
- 微軟Edge瀏覽器添新功能：Adobe Express、MathSolver和Spotify插件亮相
- 微軟必應(yīng)聊天（Bing Chat）發(fā)布全新功能“nosearch”，智能搜索即將來(lái)臨
- Copilot Chat：微軟GitHub AI助手全面支持個(gè)人用戶
- BBC發(fā)布新原則：推動(dòng)人工智能在新聞?lì)I(lǐng)域的應(yīng)用
- 360公司推出全新生態(tài)系統(tǒng)：智腦大模型全面開(kāi)放使用
- OpenAI宣布ChatGPT具備瀏覽互聯(lián)網(wǎng)能力，開(kāi)啟新時(shí)代
- 中國(guó)電信推出"啟明"網(wǎng)絡(luò)大模型，積極拓展MaaS服務(wù)領(lǐng)域
本欄最新
微軟研究團(tuán)隊(duì)發(fā)布GPT-4研究報(bào)告：揭示“越獄”漏洞
英偉達(dá)TensorRT-LLM庫(kù)登陸Windows PC，瞄準(zhǔn)提高性能
微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
人工智能領(lǐng)域融資價(jià)值飆升27%：第三季度財(cái)經(jīng)亮點(diǎn)
小度添添家庭機(jī)器人隆重亮相：AI技術(shù)全面融入文心一言大模型
李彥宏盛贊百度文心 4.0：媲美GPT-4綜合能力
本文鏈接：http://www.www897cc.com/showinfo-45-2215-0.html英偉達(dá)TensorRT-LLM庫(kù)登陸Windows PC，瞄準(zhǔn)提高性能
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 英偉達(dá)TensorRT-LLM庫(kù)登陸Windows PC，瞄準(zhǔn)提高性能
下一篇： 微軟推出AI工具Azure AI Content Safety，致力于打造健康的社交媒體環(huán)境
標(biāo)簽：
津公網(wǎng)安備 12010102000574號(hào)