向量數據庫開拓者與GUP王者聯手會擦出什么樣的火花?
在GTC2024大會上,英偉達宣布全球首個GPU加速向量數據庫誕生——中國公司Zilliz與英偉達攜手發布了Milvus2.4版本。
向量數據庫是一種專門用于處理向量數據的數據庫系統,這類數據通常用于機器學習和人工智能應用中,如推薦系統、圖像識別和自然語言處理等。GPU(圖形處理單元)因其并行處理能力而成為加速復雜計算任務的理想選擇,尤其是在處理大量數據時。
英偉達在GPU領域的地位不用多說,Zilliz的全稱是上海徐毓智能科技有限公司,是誕生于中國本土的初創公司,成立于2016年,總部位于上海。在向量數據庫系統領域,Zilliz是開拓者,研發了面向AI生產系統的向量數據庫系統。其技術和產品已經被全球超過1000家企業采用。
Milvus是Zilliz的主要產品,它提供了一個易于使用的界面,允許開發者和數據科學家快速部署和擴展向量搜索服務。該產品以其高性能和可擴展性而聞名,能夠處理海量的向量數據,并提供毫秒級的查詢響應時間,還支持多種編程語言的API,包括Python、Java、Go和C++。
Milvus2.4版本向量數據庫的創新點在于,利用GPU的高速計算特性,能夠快速執行向量相似性搜索和分析,支持更高的并發用戶請求,同時降低延遲,提供更快的響應時間,使其成為支持實時決策和復雜數據分析的理想工具。
據介紹,它在業界首次采用了英偉達GPU的高效并行處理能力和RAPIDS cuVS庫中新推出的CAGRA(CUDA-Accelerated Graph Index for Vector Retrieval)技術,提供基于GPU的向量索引和搜索加速能力。基準測試顯示,與目前市面上先進的基于CPU處理器的索引技術相比,新版GPU加速Milvus能提供高達50倍的向量搜索性能提升。
向量數據庫——開發AI大模型的必備軟件
向量數據庫是專門用于存儲和管理向量數據,其具備的快速檢索、混合存儲、向量嵌入等能力很好的解決了AI大模型技術中普遍存在的知識時效性低、輸入能力有限、回答問題準確度低等問題,因此被視作開發和應用AI大模型過程中的必備的軟件基礎設施。
從實際應用案例來看,向量數據庫在AI大模型的訓練和推理過程中降本增效的效果已有所顯現。ChatGPT Plugins外接向量數據庫,不僅大大拓展了AI大模型交互信息的范圍,還保護了用戶隱私。Qdrant向量數據庫與Pienso合作,已經實現在開源AI大模型的基礎上開發私域大模型。
廣發證券認為,在過去AI模型訓練的數據量較小、數據類型單一的情況下,向量數據庫可應用的場景較小。自2017年Transformer模型推出后,各科技廠商開始大語言模型的探索,對于向量數據庫的需求才開始形成規模。隨著微軟365Copilot以及ChatGPT企業版等標桿產品的落地,AI應用的發展正逐步由點擴散到面,未來隨著生成式AI大模型開發量和使用量的增長,向量數據庫的應用有望快速增長。
目前在商業化方面,向量數據庫行業還處于市場培育期,Zilliz、Pinecone和騰訊云均推出免費版本的產品給用戶試用。以華為云和星環科技為代表的廠商在非結構化數據處理具有一定技術積累的基礎上,也相繼推出了向量數據庫產品。
其中,星環科技是國內第一批進入向量數據庫領域的公司,已經與英特爾聯合發布向量數據庫解決方案。
本文鏈接:http://www.www897cc.com/showinfo-17-78707-0.html全球首個GPU加速向量數據庫誕生 這家中國公司聯手英偉達推出
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com