Portkey 的文档里有一句话把整个品类定了调,而它并不是一句营销辞令:它的语义缓存只作用于 token 数低于 8,191、消息不超过四条的请求。那精确地描述了一段对话的第一轮,并排除了你将来会跑的每一个智能体循环。在你拿命中率去比较这四个产品之前,请先注意:命中率是一个阈值设定——真正值得拥有的数字是「在你能接受的错答率之下的命中率」,而它们谁都没有把这一对数字公布出来。
一眼概览
四个都能「不调模型就回答一个请求」的产品,按它们所处的位置与愿意匹配什么来排列。状态截至 2026 年 11 月,取自各项目自己的文档。
| 产品 | 形态 | 匹配方式 | 状态 |
|---|---|---|---|
| Redis LangCache | Redis Cloud 上的托管服务,属于 Redis Iris | 嵌入模型加一个重排器,两者都为缓存而训 | 公开预览 |
| GPTCache | 自托管的 Python 库(Zilliz) | 可插拔的嵌入模型与向量库 | 最新正式版本 0.1.44,2024 年 8 月 |
| Portkey | 某个 LLM 网关的一项功能 | 先精确键,再余弦相似度 | 已交付;语义层按套餐限制 |
| Cloudflare AI Gateway | 某个边缘网关的一项功能 | 精确匹配,TTL 可配 | 语义匹配尚未交付 |
命中率是你转的一个旋钮,不是你量出来的一项属性
先从这四个产品都拿来打头阵的那个数字说起,因为那个数字与其说是错的,不如说是不完整的。一个语义缓存把进来的请求做嵌入、找到最近的那条已存请求,若相似度越过阈值就把那条已存答案交出去。挪动阈值,你就挪动了命中率。没有哪个设定下,这个缓存可以单纯地「准确」。
这个旋钮的量程大小在产品自身里就看得见,而对同一条余弦尺度而言,这个跨度令人惊讶。Portkey 文档写明默认相似度阈值为 0.95。Redis 自己的 LangCache 教程走的那份示例配置是 0.65。那是两家厂商对同一操作给出的默认值,相差三成,而这不是实现上的分歧——这是「一个答案被允许错到什么程度」上的分歧。
实践者的文章给那条曲线的形状配上了粗略的数字:在 0.97 附近你得到高精确度和个位数的命中率;在 0.93 附近你得到 20%–30%;而在更松的那一端,若干人报告有 3%–7% 的缓存命中返回的答案其实并不属于那个问题。请把这些数字当作指示性的而不是测出来的——它们来自博客与厂商周边的文章,而不是一次独立基准测试,而我们无法把其中任何一个追溯到一次原始评测。不过那个形状并无争议,而 2026 年一篇讲语义缓存运营落差的论文(arXiv:2606.19719)之所以存在,恰恰因为这个领域一直在报告单一工作点、而不是跨阈值的那条取舍曲线。
于是你有了该问厂商的那个问题,而这四个产品目前谁都答不出来:在我的流量上,当错误命中率低于 1% 时,你的命中率是多少?在有人把这一对数字公布出来之前,一句「成本最高可降 90%」是一句关于他们所选阈值的陈述,而那份流量不是你的。
Redis LangCache——唯一一个按产品来建的,而它还在预览
LangCache 是这一组里最认真的工程努力。它以 Redis Cloud 上的托管服务交付,而不是一个你自己去运维的库;它属于更大的 Redis Iris 上下文引擎,而 Redis 在 2026 年 11 月 4 日扩展了这套东西,Agent Memory 进入 GA、Agent Mesh 进入 beta。就缓存而言真正要紧的一点是,Redis 为这件事训练了自己的嵌入模型与重排器,而不是复用一个通用嵌入器——把一个重排器放在相似度判定之前,是对阈值问题的正确架构答案,因为这让一个便宜的召回步可以松、让一个更贵的精确步可以严。
那些说法都是厂商说法,也该这么读:产品页上写 API 成本最高可降 90%,发布材料引用了命中时响应最高快 15 倍、token 用量最高降 70%,而对照的那次演示显示的是 6 倍。「最高 15 倍」与「演示显示 6 倍」之间的那个落差,才是那句话里有用的信息。
真正的约束是状态。Redis 的文档把 Redis Cloud 上的 LangCache 描述为公开预览,功能与行为可能变化。定价一直被列为预览期内免费、正式发布定价待定,而那个页面的日期并不新——所以你目前无法为它的稳态成本建模,这让它很难放到关键路径上。未固定的厂商默认值是相关的纪律:预览服务就是那种「你测到的行为明确不被承诺」的服务。
GPTCache——参考实现,以及一个维护问题
GPTCache 是大多数人第一次遇到这个想法的地方,而它仍是被引用最多的开源语义缓存。架构上它是四者里最诚实的:嵌入模型、向量库、相似度评估器与淘汰策略都由你来选,这意味着阈值问题明摆着是你的,而不是藏在某个托管默认值里。
维护状况是混合的,值得谨慎陈述而不是一笔带过。PyPI 上最新的正式版本是 0.1.44,日期为 2024 年 8 月。仓库并不休眠——2026 年 9 月有一个「Prepare v0.2.0 release」的 pull request,另有 2026 年针对淘汰策略的工作——但我们无法确认 v0.2.0 是否已经打上标签,而一份二手综述称维护者曾表示该项目不会再为新的 API 与模型添加支持。那些要求支持更新模型的 issue 自 2024 年起一直悬着。
就按它本来的样子读它:一份设计良好、你可以 vendor 进来并自行维护的参考实现,而上一个版本与现在之间隔了两年。对一个想自己掌握阈值与淘汰策略的团队来说,这是可以接受的交换。对一个想要一个依赖项的团队来说,版本历史就是全部答案。
Portkey——以及那句没人打算写出来的规格说明
Portkey 的缓存是四者里文档最完整的,这也正是它最有用的原因。它先查精确键、再退回到余弦相似度,写明默认阈值 0.95,然后把适用条件也写了出来:语义缓存只作用于 token 数低于 8,191、消息不超过四条的请求。
这两个上限是本文里最具信息量的数字。8,191 token 比 8K 少一个 token,而那正是一个常见嵌入模型的上下文上限——这读起来远不像一项「谁该用这个」的产品决策,更像是那个嵌入器的输入尺寸从抽象层里漏了出来。四条消息就是一条系统提示、一条用户轮次、一条助手轮次,再加一条。两者合在一起,精确地画出了语义缓存被造出来服务的那种工作负载的边界:短的、靠前轮次的、对话形状的请求。
在你基于它动工之前,还有一处文档冲突值得知道。文档把 0.95 作为默认值呈现,暗示它可配;而 Portkey 自己写的一篇关于阈值的文章称该阈值不可由用户调整。我们无法判定哪一个是现行的,而这个答案决定了你究竟能不能运营这个缓存——所以在围绕任一种读法做设计之前,请在你自己的账户上去核实。Braintrust 的文章还另外提到,语义那一层仅限部分企业套餐。
Cloudflare AI Gateway——只做精确匹配,以及为此坦诚的理由
Cloudflare 的 AI Gateway 按精确匹配做缓存、TTL 可配,而多数来源一致认为语义匹配属于路线图而非已交付。有一份第三方对比把它列为使用 MinHash 与余弦相似度;我们无法用 Cloudflare 自己的文档去核实这一点,而在一个如此容易夸大的品类里,「厂商文档里没有这项功能」是更强的证据。
一个精确匹配缓存并不是语义缓存的低配版——它是另一个产品,风险画像不同,错误命中率为零。对于「许多客户端发送字节级相同请求」的扇出流量,它是正确的工具,而阈值问题根本不存在。对于一个智能体循环,它几乎毫无用处,因为一条轨迹里没有两条提示是相同的。诚实的立场是:这个对比里的这一行,属于市场的另一列。
智能体循环会对这一切做什么
现在把一个智能体摆到这四者面前,这个对比就朝一个明确的方向塌缩了。一个智能体轮次的提示 = 一条系统提示 + 工具 schema + 一段对话 + 到目前为止的每一条工具返回。由此得出三条性质,而每一条都以不同的理由击败语义缓存。
提示太长、消息太多,所以按 Portkey 写明的规则它根本不符合适用条件;而在任何基于嵌入的匹配器上,它都被压成了一个由「从不变化的那些部分」主导的单一向量。提示几近唯一,因为尾部带着时间戳、ID 与工具输出,所以缓存所依赖的那个「近重复」群体并不存在——而且两条提示在嵌入空间里越接近,它们之间的差异就越可能恰好是那个要紧的部分。再者,一次错误命中的后果不是一个略微错误的答案,而是一个错误的动作:一次被缓存的工具调用会拿昨天的参数对着今天的状态执行,而那与一次错误的聊天回复属于不同的严重性等级。
在智能体循环里真正划算的,是下面一层的那个缓存。厂商的前缀缓存按提示中不变的那段头部取键,而那恰恰是智能体会重复的那部分;并且它是精确匹配而不是近似匹配,所以它根本没有错误命中率。其中的经济学在上下文缓存的经济学里被算过,简版就是:一条智能体提示里那段稳定的头部,既是最大的部分,也是最可缓存的部分。网关的语义缓存与厂商的前缀缓存不是互相竞争的产品;其中一个是给聊天的,另一个是给智能体的。
例外真实存在,但很窄:第一轮。一个客服智能体,若有成千上万名用户以同样那二十个问题的各种说法开场,那就有真实的近重复流量,而在那个入口上放一个语义缓存,可以在任何智能体机制启动之前先吃掉其中很大一部分。缓存入口,不要缓存循环。
何时选哪个
| 情形 | 选 | 为什么 |
|---|---|---|
| 智能体轨迹,多轮 | 都不选——用厂商的前缀缓存 | 提示既唯一又长;可缓存的那部分是稳定的头部 |
| 高流量的 FAQ 或客服入口 | Redis LangCache,若你能接受预览 | 带重排器的匹配是对阈值问题的正确答案 |
| 字节级相同的扇出流量 | Cloudflare AI Gateway | 精确匹配、零错误命中、没有阈值要运营 |
| 你本来就经 Portkey 路由 | Portkey,在写明的限制之内 | 不新增依赖;先核实阈值在你的套餐上可调 |
| 你需要自己掌握阈值与淘汰策略 | GPTCache,vendor 进来 | 每个旋钮都归你——维护一个上次发版在 2024 年的库也归你 |
常见问题
语义缓存对智能体到底值不值得?
在入口上,常常值得;在循环内部,几乎从不。循环里的提示又长、又几近唯一、而且错起来后果很重,这恰好是一个按相似度匹配的缓存最不擅长的画像。
我该向厂商要哪一个数字?
在固定错误命中率下的命中率——例如,在少于 1% 的命中是错的前提下所能达到的命中率,并且是在你自己流量的样本上测的。一个不带错误率的命中率,是把一次阈值选择当成结果来呈现。
我自己怎么量错误命中率?
在信任它之前先做影子运行:答案由模型给出,同时问缓存「你本来会返回什么」,再让一个评判者或人类在样本上比较两者。这样你在自己的分布上同时拿到两个数字,而那是唯一要紧的分布。
提示缓存和语义缓存是一回事吗?
不是,而把两者混为一谈是这里最常见的错误。提示缓存或前缀缓存是对提示中那段不变头部做精确匹配,省掉厂商内部的重复计算;语义缓存是对整个请求做近似匹配,完全跳过模型。不同的键、不同的省法、不同的失效模式。
一个重排器能把阈值问题消掉吗?
它改善那个取舍,而不是消掉它。先用一个松的召回步、再接一个严的重排器,可以在同样的精确度下拿到更多命中,但某处仍然有一个切分点,而它仍然得由你来选、由你来监控。
延伸阅读
本站:
- 语义缓存——这个概念,以及它能按什么取键、不能按什么取键。
- 提示缓存——另一个缓存,也是真正帮到智能体的那个。
- 上下文缓存的经济学——一项缓存折扣究竟值多少的算术。
- 更少 token 对更便宜的 token——缓存在其他成本杠杆之中的位置。
- AI 网关——网关这一层在缓存之外还在做什么。
- 在循环层面控制成本——那些比任何缓存都更要紧的上限。