eKi28資訊網(wǎng)——每日最新資訊28at.com

AI 存儲廠商焱融科技宣布，其自主研發(fā)的分布式文件存儲系統(tǒng)YRCloudFile已成功支持大模型推理場景的 KV Cache 特性，為 AI 推理帶來顯著價值提升。eKi28資訊網(wǎng)——每日最新資訊28at.com

KV Cache 通過高效緩存機制加速數(shù)據(jù)讀取，顯著提升推理性能，突破 GPU 顯存瓶頸，大幅提升推理 GPU 效率和并發(fā)處理能力。這意味著用戶可以在不增加 GPU 資源的情況下，實現(xiàn)更高并發(fā)的推理請求，大幅降低 GPU 資源消耗與投入成本。同時，它還能夠降低推理的首個 Token 耗時和 Token 間耗時延時，提升用戶使用體驗。eKi28資訊網(wǎng)——每日最新資訊28at.com

此外，焱融科技實現(xiàn)了DeepSeek級架構(gòu)，構(gòu)建與DeepSeek一致的推理場景存算參考架構(gòu)。用戶在使用支持 KV Cache 的焱融存儲時，能夠享受到與DeepSeek同等架構(gòu)帶來的優(yōu)質(zhì)體驗。在相同規(guī)模和推理速度下，焱融存儲支持更長的上下文處理和更多查詢請求，為大模型推理提供更優(yōu)的性價比。eKi28資訊網(wǎng)——每日最新資訊28at.com

焱融存儲支持 KV Cache 技術(shù)新優(yōu)勢eKi28資訊網(wǎng)——每日最新資訊28at.com

優(yōu)勢一｜焱融 AI 推理存儲優(yōu)化實時交互性能eKi28資訊網(wǎng)——每日最新資訊28at.com

在實時交互場景中，用戶對 AI 服務(wù)的響應(yīng)速度要求極高。焱融存儲 KV Cache 技術(shù)，大幅縮短大模型推理的首個 Token 耗時（Time To First Token）和 Token 間耗時（Time Between Token），顯著提升復(fù)雜場景的響應(yīng)效率。該方案采用 NVMe SSD 加速與高性能網(wǎng)絡(luò)，實現(xiàn)微秒級推理延遲，提升 Token 處理速度，減少資源占用，支持更多并發(fā)訪問，優(yōu)化業(yè)務(wù)成本。同時，通過 GPUDirect Storage 與 RDMA 網(wǎng)絡(luò)的結(jié)合進一步優(yōu)化數(shù)據(jù)傳輸效率，提升用戶體驗。eKi28資訊網(wǎng)——每日最新資訊28at.com

優(yōu)勢二｜顯存資源動態(tài)優(yōu)化與推理加速eKi28資訊網(wǎng)——每日最新資訊28at.com

焱融存儲 KV Cache 技術(shù)，突破顯存容量對上下文長度的限制，實現(xiàn) GPU 資源動態(tài)調(diào)度，提升單卡并發(fā)推理能力。這意味著用戶可以在不增加 GPU 資源的情況下，實現(xiàn)更高并發(fā)的推理請求，大幅降低 GPU 資源消耗與投入成本。目前，該技術(shù)已應(yīng)用于多模態(tài)大模型、實時交互等高算力需求場景，為 AGI 時代規(guī)模化 AI 落地提供高性價比的算力底座。eKi28資訊網(wǎng)——每日最新資訊28at.com

優(yōu)勢三｜DeepSeek級架構(gòu)體驗eKi28資訊網(wǎng)——每日最新資訊28at.com

針對當前企業(yè)廣泛采用的 DeepSeek 等主流大模型，焱融存儲 KV Cache 技術(shù)進一步降低企業(yè)使用成本的同時，提升推理場景下的響應(yīng)效率。可靈活適配從百億級參數(shù)模型到萬億級 MoE 混合專家模型，滿足政務(wù)、金融等高安全要求場景的數(shù)據(jù)本地化需求，同時支持國產(chǎn)與海外芯片的異構(gòu)算力環(huán)境，為企業(yè)提供自主可控的技術(shù)路徑。eKi28資訊網(wǎng)——每日最新資訊28at.com

此次技術(shù)突破正值國內(nèi)企業(yè) AI 私有化部署浪潮，焱融科技以存儲技術(shù)創(chuàng)新推動算力資源的高效利用，為 AI 規(guī)模化應(yīng)用提供了關(guān)鍵基礎(chǔ)設(shè)施支撐。隨著多模態(tài)與實時交互場景的普及，存儲與計算的協(xié)同優(yōu)化，KVCache“以存換算”將成為企業(yè)降本增效的核心競爭力。eKi28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-26-137834-0.html焱融存儲 YRCloudFile 發(fā)布面向 AI 推理的分布式 KV Cache 特性

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。郵件：2376512515@qq.com

上一篇： 大尺寸面板需求向好，TCL 科技收購樂金顯示股權(quán)完成工商變更

下一篇： 宏碁 AIPC Yes！多款產(chǎn)品亮相 AMD AIPC 創(chuàng)新峰會