一、Chat with RTX:部署在本地的聊天機(jī)器人應(yīng)用
往年大學(xué)生選購筆記本主要看游戲性能和性價(jià)比,但時(shí)代不同了,如今不會(huì)玩AI就注定無法跟上時(shí)代的節(jié)奏。對于生成式AI來說,目前主要依賴GPU進(jìn)行加速,RTX 40系GPU高可以提供686 TOPS的AI算力,輕松應(yīng)對各種復(fù)雜任務(wù),提升學(xué)習(xí)效率和工作成果!
正值開學(xué)季,NVIDIA聯(lián)合諸多游戲本廠商在京東平臺(tái)開展了盛大的促銷活動(dòng),現(xiàn)在購買RTX筆記本,可享限時(shí)優(yōu)惠!
一鍵抵達(dá)會(huì)場:
app端: https://pro.m.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
PC端: https://pro.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
說到AI,很多人可能第一時(shí)間就會(huì)想到ChatGPT,只是ChatGPT的服務(wù)器在云端,或多或少存在著一些安全隱患。另外普通用戶能用的只有ChatGPT 3.5,更高級的4.0版需要每個(gè)月支付20美元(約合人民幣145元)才能使用,對于大多數(shù)用戶而言,算是一筆不菲的開銷。
有鑒于此,NVIDIA推出了“Chat with RTX”,這是一款部署于本地的聊天機(jī)器人應(yīng)用,只要你擁有一塊搭載8GB以上顯存的RTX 30/40顯卡,就可以實(shí)現(xiàn)本地、快速、信息定制的生成式AI。
Chat with RTX 可以在Windows RTX PC 和工作站上以本地部署的方式運(yùn)行,再加上用戶的數(shù)據(jù)還是保留在本地設(shè)備裝置上,因此能夠快速提供查詢結(jié)果。與依賴云端環(huán)境的 LLM 服務(wù)不同,Chat with RTX 讓用戶能夠在 PC 桌面端處理敏感資料,無需分享給第三方或是連接到網(wǎng)絡(luò)。
Chat with RTX工具支持包括.txt、.pdf、.doc/.docx和.xml在內(nèi)的多種文件格式。將應(yīng)用程序指向含有這些資料的文件夾,Chat with RTX 工具在幾秒鐘內(nèi)就能將它們載入到資料庫中。
另外,用戶還能加入YouTube視頻和播放列表里的信息。在Chat with RTX里加入視頻網(wǎng)址,用戶便能將這些知識(shí)與聊天機(jī)器人進(jìn)行整合,進(jìn)行上下文查詢。
Chat with RTX可以在Windows RTX PC和工作站上以本地部署的方式運(yùn)行,再加上用戶的數(shù)據(jù)還是保留在本地設(shè)備裝置上,因此能夠快速提供查詢結(jié)果。與依賴云端環(huán)境的LLM服務(wù)不同的是,Chat with RTX讓用戶能夠在PC桌面端處理敏感資料,無需分享給第三方或是連接到網(wǎng)絡(luò)
除了Chat With RTX之外,不久前NVIDIA還對谷歌全新開放式語言模型 Gemma 進(jìn)行了優(yōu)化,Chat with RTX 技術(shù)演示版也即將支持 Gemma。
該Demo使用檢索增強(qiáng)生成(RAG)和TensorRT-LLM軟件,為用戶提供在本地WindowsRTX PC 上的生成式AI功能。
現(xiàn)在Chat with RTX已經(jīng)開放了免費(fèi)下載,只不過安裝的時(shí)候需要注意只能安裝在默認(rèn)文件夾,手動(dòng)變更安裝路徑會(huì)造成安裝失敗。
Chat with RTX下載地址:https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
本文鏈接:http://www.www897cc.com/showinfo-24-75105-0.html現(xiàn)在哪些AIGC筆記本電腦值得入手:開學(xué)季RTX 4070筆記本電腦暢快玩轉(zhuǎn)AI
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識(shí),若有侵權(quán)等問題請及時(shí)與本網(wǎng)聯(lián)系,我們將在第一時(shí)間刪除處理。郵件:2376512515@qq.com