Redis LangCache vs GPTCache vs Portkey vs Cloudflare AI Gateway

每一层「答案复用」卖的都是命中率,而命中率其实是一个阈值设定——真正没人公布的数字是「在可容忍的错答率下的命中率」,而那才是你唯一能据以行动的形式。Portkey 无意间给整个品类写下了诚实的规格说明:它的语义缓存只作用于 token 数低于 8,191、消息不超过四条的请求——这描述的是一段对话的第一轮,并排除了所有智能体循环。截至 2026 年 11 月,托管方案仍在公开预览,最流行的开源方案自 2024 年起没有发过正式版本,而边缘方案只做精确匹配。

作者 智能体 AI 维基 20 分钟读完

Portkey 的文档里有一句话把整个品类定了调,而它并不是一句营销辞令:它的语义缓存只作用于 token 数低于 8,191、消息不超过四条的请求。那精确地描述了一段对话的第一轮,并排除了你将来会跑的每一个智能体循环。在你拿命中率去比较这四个产品之前,请先注意:命中率是一个阈值设定——真正值得拥有的数字是「在你能接受的错答率之下的命中率」,而它们谁都没有把这一对数字公布出来。

一眼概览

四个都能「不调模型就回答一个请求」的产品,按它们所处的位置与愿意匹配什么来排列。状态截至 2026 年 11 月,取自各项目自己的文档。

产品形态匹配方式状态
Redis LangCache Redis Cloud 上的托管服务,属于 Redis Iris 嵌入模型加一个重排器,两者都为缓存而训 公开预览
GPTCache 自托管的 Python 库(Zilliz) 可插拔的嵌入模型与向量库 最新正式版本 0.1.44,2024 年 8 月
Portkey 某个 LLM 网关的一项功能 先精确键,再余弦相似度 已交付;语义层按套餐限制
Cloudflare AI Gateway 某个边缘网关的一项功能 精确匹配,TTL 可配 语义匹配尚未交付
Four answer-reuse layers compared A four by three matrix. Redis LangCache matches with trained embedding and reranker models, lets you set the threshold per cache, and is in public preview. GPTCache offers pluggable embeddings and in-code thresholds, but has had no tagged release since 2024. Portkey matches exact keys first then cosine similarity, documents a default threshold of 0.95, and ships as a gateway feature. Cloudflare AI Gateway offers exact-match caching only, so no threshold applies and semantic matching is not shipped. Legend: strong, partial, weak or absent. Matching, threshold control, and status What it matches on Who sets the threshold Status, Nov 2026 Redis LangCache Embedding + reranker You, per cache Public preview GPTCache Pluggable embeddings You, in code No release since 2024 Portkey Exact key, then cosine Default 0.95, eligibility caps Shipping gateway feature Cloudflare AI Gateway Exact match only Not applicable Semantic not shipped Strong Partial Weak or absent
四个里只有两个会按语义去匹配,而其中只有一个是你能带着价格买下来的产品。

命中率是你转的一个旋钮,不是你量出来的一项属性

先从这四个产品都拿来打头阵的那个数字说起,因为那个数字与其说是错的,不如说是不完整的。一个语义缓存把进来的请求做嵌入、找到最近的那条已存请求,若相似度越过阈值就把那条已存答案交出去。挪动阈值,你就挪动了命中率。没有哪个设定下,这个缓存可以单纯地「准确」。

这个旋钮的量程大小在产品自身里就看得见,而对同一条余弦尺度而言,这个跨度令人惊讶。Portkey 文档写明默认相似度阈值为 0.95。Redis 自己的 LangCache 教程走的那份示例配置是 0.65。那是两家厂商对同一操作给出的默认值,相差三成,而这不是实现上的分歧——这是「一个答案被允许错到什么程度」上的分歧。

实践者的文章给那条曲线的形状配上了粗略的数字:在 0.97 附近你得到高精确度和个位数的命中率;在 0.93 附近你得到 20%–30%;而在更松的那一端,若干人报告有 3%–7% 的缓存命中返回的答案其实并不属于那个问题。请把这些数字当作指示性的而不是测出来的——它们来自博客与厂商周边的文章,而不是一次独立基准测试,而我们无法把其中任何一个追溯到一次原始评测。不过那个形状并无争议,而 2026 年一篇讲语义缓存运营落差的论文(arXiv:2606.19719)之所以存在,恰恰因为这个领域一直在报告单一工作点、而不是跨阈值的那条取舍曲线。

于是你有了该问厂商的那个问题,而这四个产品目前谁都答不出来:在我的流量上,当错误命中率低于 1% 时,你的命中率是多少?在有人把这一对数字公布出来之前,一句「成本最高可降 90%」是一句关于他们所选阈值的陈述,而那份流量不是你的。

Redis LangCache——唯一一个按产品来建的,而它还在预览

LangCache 是这一组里最认真的工程努力。它以 Redis Cloud 上的托管服务交付,而不是一个你自己去运维的库;它属于更大的 Redis Iris 上下文引擎,而 Redis 在 2026 年 11 月 4 日扩展了这套东西,Agent Memory 进入 GA、Agent Mesh 进入 beta。就缓存而言真正要紧的一点是,Redis 为这件事训练了自己的嵌入模型与重排器,而不是复用一个通用嵌入器——把一个重排器放在相似度判定之前,是对阈值问题的正确架构答案,因为这让一个便宜的召回步可以松、让一个更贵的精确步可以严。

那些说法都是厂商说法,也该这么读:产品页上写 API 成本最高可降 90%,发布材料引用了命中时响应最高快 15 倍、token 用量最高降 70%,而对照的那次演示显示的是 6 倍。「最高 15 倍」与「演示显示 6 倍」之间的那个落差,才是那句话里有用的信息。

真正的约束是状态。Redis 的文档把 Redis Cloud 上的 LangCache 描述为公开预览,功能与行为可能变化。定价一直被列为预览期内免费、正式发布定价待定,而那个页面的日期并不新——所以你目前无法为它的稳态成本建模,这让它很难放到关键路径上。未固定的厂商默认值是相关的纪律:预览服务就是那种「你测到的行为明确不被承诺」的服务。

GPTCache——参考实现,以及一个维护问题

GPTCache 是大多数人第一次遇到这个想法的地方,而它仍是被引用最多的开源语义缓存。架构上它是四者里最诚实的:嵌入模型、向量库、相似度评估器与淘汰策略都由你来选,这意味着阈值问题明摆着是你的,而不是藏在某个托管默认值里。

维护状况是混合的,值得谨慎陈述而不是一笔带过。PyPI 上最新的正式版本是 0.1.44,日期为 2024 年 8 月。仓库并不休眠——2026 年 9 月有一个「Prepare v0.2.0 release」的 pull request,另有 2026 年针对淘汰策略的工作——但我们无法确认 v0.2.0 是否已经打上标签,而一份二手综述称维护者曾表示该项目不会再为新的 API 与模型添加支持。那些要求支持更新模型的 issue 自 2024 年起一直悬着。

就按它本来的样子读它:一份设计良好、你可以 vendor 进来并自行维护的参考实现,而上一个版本与现在之间隔了两年。对一个想自己掌握阈值与淘汰策略的团队来说,这是可以接受的交换。对一个想要一个依赖项的团队来说,版本历史就是全部答案。

Portkey——以及那句没人打算写出来的规格说明

Portkey 的缓存是四者里文档最完整的,这也正是它最有用的原因。它先查精确键、再退回到余弦相似度,写明默认阈值 0.95,然后把适用条件也写了出来:语义缓存只作用于 token 数低于 8,191、消息不超过四条的请求。

这两个上限是本文里最具信息量的数字。8,191 token 比 8K 少一个 token,而那正是一个常见嵌入模型的上下文上限——这读起来远不像一项「谁该用这个」的产品决策,更像是那个嵌入器的输入尺寸从抽象层里漏了出来。四条消息就是一条系统提示、一条用户轮次、一条助手轮次,再加一条。两者合在一起,精确地画出了语义缓存被造出来服务的那种工作负载的边界:短的、靠前轮次的、对话形状的请求。

在你基于它动工之前,还有一处文档冲突值得知道。文档把 0.95 作为默认值呈现,暗示它可配;而 Portkey 自己写的一篇关于阈值的文章称该阈值不可由用户调整。我们无法判定哪一个是现行的,而这个答案决定了你究竟能不能运营这个缓存——所以在围绕任一种读法做设计之前,请在你自己的账户上去核实。Braintrust 的文章还另外提到,语义那一层仅限部分企业套餐。

Cloudflare AI Gateway——只做精确匹配,以及为此坦诚的理由

Cloudflare 的 AI Gateway 按精确匹配做缓存、TTL 可配,而多数来源一致认为语义匹配属于路线图而非已交付。有一份第三方对比把它列为使用 MinHash 与余弦相似度;我们无法用 Cloudflare 自己的文档去核实这一点,而在一个如此容易夸大的品类里,「厂商文档里没有这项功能」是更强的证据。

一个精确匹配缓存并不是语义缓存的低配版——它是另一个产品,风险画像不同,错误命中率为零。对于「许多客户端发送字节级相同请求」的扇出流量,它是正确的工具,而阈值问题根本不存在。对于一个智能体循环,它几乎毫无用处,因为一条轨迹里没有两条提示是相同的。诚实的立场是:这个对比里的这一行,属于市场的另一列。

智能体循环会对这一切做什么

现在把一个智能体摆到这四者面前,这个对比就朝一个明确的方向塌缩了。一个智能体轮次的提示 = 一条系统提示 + 工具 schema + 一段对话 + 到目前为止的每一条工具返回。由此得出三条性质,而每一条都以不同的理由击败语义缓存。

Three caches on one request path A left to right pipeline. The agent loop sends a turn to a gateway, which holds the exact-match and semantic caches keyed on the whole prompt. On a miss the request goes to the provider API, which holds a prefix cache keyed on the unchanged head of the prompt, and from there to the model. A changed tool result at the tail of the prompt defeats both gateway caches and leaves the provider prefix cache intact, which is why the prefix cache is the one that pays in an agent loop. Where each cache sits, and what each one is keyed on Agent loop turn n of many ask Gateway exact key match semantic match miss Provider API prefix cache on the prompt head tokens Model Appends a tool result to the tail each turn Keyed on the whole prompt, so the tail defeats it Keyed on the unchanged head, so the tail does not Pays either way for the output
网关的那些缓存按整条提示取键;厂商的前缀缓存按它那段不变的头部取键。只有后者能在一条不断变长的轨迹下活下来。

提示太长、消息太多,所以按 Portkey 写明的规则它根本不符合适用条件;而在任何基于嵌入的匹配器上,它都被压成了一个由「从不变化的那些部分」主导的单一向量。提示几近唯一,因为尾部带着时间戳、ID 与工具输出,所以缓存所依赖的那个「近重复」群体并不存在——而且两条提示在嵌入空间里越接近,它们之间的差异就越可能恰好是那个要紧的部分。再者,一次错误命中的后果不是一个略微错误的答案,而是一个错误的动作:一次被缓存的工具调用会拿昨天的参数对着今天的状态执行,而那与一次错误的聊天回复属于不同的严重性等级。

在智能体循环里真正划算的,是下面一层的那个缓存。厂商的前缀缓存按提示中不变的那段头部取键,而那恰恰是智能体会重复的那部分;并且它是精确匹配而不是近似匹配,所以它根本没有错误命中率。其中的经济学在上下文缓存的经济学里被算过,简版就是:一条智能体提示里那段稳定的头部,既是最大的部分,也是最可缓存的部分。网关的语义缓存与厂商的前缀缓存不是互相竞争的产品;其中一个是给聊天的,另一个是给智能体的。

例外真实存在,但很窄:第一轮。一个客服智能体,若有成千上万名用户以同样那二十个问题的各种说法开场,那就有真实的近重复流量,而在那个入口上放一个语义缓存,可以在任何智能体机制启动之前先吃掉其中很大一部分。缓存入口,不要缓存循环。

何时选哪个

情形选为什么
智能体轨迹,多轮 都不选——用厂商的前缀缓存 提示既唯一又长;可缓存的那部分是稳定的头部
高流量的 FAQ 或客服入口 Redis LangCache,若你能接受预览 带重排器的匹配是对阈值问题的正确答案
字节级相同的扇出流量 Cloudflare AI Gateway 精确匹配、零错误命中、没有阈值要运营
你本来就经 Portkey 路由 Portkey,在写明的限制之内 不新增依赖;先核实阈值在你的套餐上可调
你需要自己掌握阈值与淘汰策略 GPTCache,vendor 进来 每个旋钮都归你——维护一个上次发版在 2024 年的库也归你

常见问题

语义缓存对智能体到底值不值得?

在入口上,常常值得;在循环内部,几乎从不。循环里的提示又长、又几近唯一、而且错起来后果很重,这恰好是一个按相似度匹配的缓存最不擅长的画像。

我该向厂商要哪一个数字?

在固定错误命中率下的命中率——例如,在少于 1% 的命中是错的前提下所能达到的命中率,并且是在你自己流量的样本上测的。一个不带错误率的命中率,是把一次阈值选择当成结果来呈现。

我自己怎么量错误命中率?

在信任它之前先做影子运行:答案由模型给出,同时问缓存「你本来会返回什么」,再让一个评判者或人类在样本上比较两者。这样你在自己的分布上同时拿到两个数字,而那是唯一要紧的分布。

提示缓存和语义缓存是一回事吗?

不是,而把两者混为一谈是这里最常见的错误。提示缓存或前缀缓存是对提示中那段不变头部做精确匹配,省掉厂商内部的重复计算;语义缓存是对整个请求做近似匹配,完全跳过模型。不同的键、不同的省法、不同的失效模式。

一个重排器能把阈值问题消掉吗?

它改善那个取舍,而不是消掉它。先用一个松的召回步、再接一个严的重排器,可以在同样的精确度下拿到更多命中,但某处仍然有一个切分点,而它仍然得由你来选、由你来监控。

延伸阅读

本站:

项目来源: