7 月 1 日消息，月之暗面今日官宣 Kimi 開(kāi)放平臺(tái)上下文緩存（Context Caching）功能開(kāi)啟公測(cè)。官方表示，該技術(shù)在 API 價(jià)格不變的前提下，可為開(kāi)發(fā)者降低最高 90% 的長(zhǎng)文本旗艦大模型使用成本，并提升模型響應(yīng)速度。AwF28資訊網(wǎng)——每日最新資訊28at.com

AwF28資訊網(wǎng)——每日最新資訊28at.com

附Kimi 開(kāi)放平臺(tái)上下文緩存功能公測(cè)詳情如下：AwF28資訊網(wǎng)——每日最新資訊28at.com

技術(shù)簡(jiǎn)介

據(jù)介紹，上下文緩存是一種數(shù)據(jù)管理技術(shù)，允許系統(tǒng)預(yù)先存儲(chǔ)會(huì)被頻繁請(qǐng)求的大量數(shù)據(jù)或信息。當(dāng)用戶請(qǐng)求相同信息時(shí)，系統(tǒng)可以直接從緩存中提供，無(wú)需重新計(jì)算或從原始數(shù)據(jù)源中檢索。AwF28資訊網(wǎng)——每日最新資訊28at.com

AwF28資訊網(wǎng)——每日最新資訊28at.com

適用場(chǎng)景

上下文緩存適用于頻繁請(qǐng)求，重復(fù)引用大量初始上下文場(chǎng)景，可降低長(zhǎng)文本模型費(fèi)用，提高效率。官方表示費(fèi)用最高降低 90 %，首 Token 延遲降低 83%。適用業(yè)務(wù)場(chǎng)景如下：AwF28資訊網(wǎng)——每日最新資訊28at.com

提供大量預(yù)設(shè)內(nèi)容的 QA Bot，例如 Kimi API 小助手AwF28資訊網(wǎng)——每日最新資訊28at.com

針對(duì)固定的文檔集合的頻繁查詢，例如上市公司信息披露問(wèn)答工具AwF28資訊網(wǎng)——每日最新資訊28at.com

對(duì)靜態(tài)代碼庫(kù)或知識(shí)庫(kù)的周期性分析，例如各類 Copilot AgentAwF28資訊網(wǎng)——每日最新資訊28at.com

瞬時(shí)流量巨大的爆款 AI 應(yīng)用，例如哄哄模擬器，LLM RiddlesAwF28資訊網(wǎng)——每日最新資訊28at.com

交互規(guī)則復(fù)雜的 Agent 類應(yīng)用等AwF28資訊網(wǎng)——每日最新資訊28at.com

AwF28資訊網(wǎng)——每日最新資訊28at.com

AwF28資訊網(wǎng)——每日最新資訊28at.com

計(jì)費(fèi)說(shuō)明

上下文緩存收費(fèi)模式主要分為以下三個(gè)部分：AwF28資訊網(wǎng)——每日最新資訊28at.com

Cache 創(chuàng)建費(fèi)用

調(diào)用 Cache 創(chuàng)建接口，成功創(chuàng)建 Cache 后，按照 Cache 中 Tokens 按實(shí)際量計(jì)費(fèi)。24 元 / M tokenAwF28資訊網(wǎng)——每日最新資訊28at.com

Cache 存儲(chǔ)費(fèi)用

Cache 存活時(shí)間內(nèi)，按分鐘收取 Cache 存儲(chǔ)費(fèi)用。10 元 / M token / 分鐘AwF28資訊網(wǎng)——每日最新資訊28at.com

Cache 調(diào)用費(fèi)用

Cache 調(diào)用增量 token 的收費(fèi)：按模型原價(jià)收費(fèi)AwF28資訊網(wǎng)——每日最新資訊28at.com

Cache 調(diào)用次數(shù)收費(fèi)：Cache 存活時(shí)間內(nèi)，用戶通過(guò) chat 接口請(qǐng)求已創(chuàng)建成功的 Cache，若 chat message 內(nèi)容與存活中的 Cache 匹配成功，將按調(diào)用次數(shù)收取 Cache 調(diào)用費(fèi)用。0.02 元 / 次AwF28資訊網(wǎng)——每日最新資訊28at.com

AwF28資訊網(wǎng)——每日最新資訊28at.com

公測(cè)時(shí)間和資格說(shuō)明

公測(cè)時(shí)間：功能上線后，公測(cè) 3 個(gè)月，公測(cè)期價(jià)格可能隨時(shí)調(diào)整。AwF28資訊網(wǎng)——每日最新資訊28at.com

公測(cè)資格：公測(cè)期間 Context Caching 功能優(yōu)先開(kāi)放給 Tier5 等級(jí)用戶，其他用戶范圍放開(kāi)時(shí)間待定。AwF28資訊網(wǎng)——每日最新資訊28at.com

相關(guān)閱讀：AwF28資訊網(wǎng)——每日最新資訊28at.com

《月之暗面 Kimi 開(kāi)放平臺(tái)將啟動(dòng) Context Caching 內(nèi)測(cè)：提供預(yù)設(shè)內(nèi)容 QA Bot、固定文檔集合查詢》AwF28資訊網(wǎng)——每日最新資訊28at.com

本文鏈接：http://www.www897cc.com/showinfo-119-97922-0.html月之暗面 Kimi 開(kāi)放平臺(tái)“上下文緩存”開(kāi)啟公測(cè)：首 Token 延遲降低 83%、適用于文本重復(fù)引用場(chǎng)景

聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com

上一篇： 微軟宣布 Microsoft 365 現(xiàn)已支持開(kāi)放文檔格式 ODF 1.4

下一篇： 6 月桌面瀏覽器格局穩(wěn)固：谷歌 Chrome 仍居首位，微軟 Edge 份額創(chuàng)新高