上下文阈值之上的价格悬崖

9 分钟读完

B26
运营 · 经济性与投资回报

上下文阈值之上的那道价格悬崖。

长上下文的定价是一个阶跃函数,不是一条斜线:越过按请求计的 token 阈值,更高的费率就适用于那次请求里的每一个 token——于是一次只长了 2.5% 的运行,可能贵了 108%。更糟的是,你为省钱而加上的那段缓存前缀同样计入阈值,而且它自己也按翻倍后的缓存费率计费——所以恰恰是这项优化把你推过了那道边。真正的杠杆是给请求体积设上限,而不是换一个更便宜的模型。

步骤 1这个计价器是一级台阶,而这级台阶适用于整个请求。

关于智能体成本的多数推理都假设 token 计价器是线性的:上下文翻倍,输入账单翻倍。而对智能体真正想用的那些长上下文模型来说,并非如此。Google 公布的价格为 Gemini 3.1 Pro 与 2.5 Pro 列出了两列独立费率——一列用于不超过 200,000 token 的提示,一列用于超过它的——而截至 2026 年 11 月,3.1 Pro 预览版的费率是线下每百万输入 token $2.00、线上 $4.00,输出则从 $12 升到 $18。Flash 与 Flash-Lite 档位不论提示多长都是平价。

真正改变你算术的那一点不是「翻倍」,而是:阈值为整个请求选定一个费率,而不是只对超出部分计价——一个 201,000 token 的提示,并不会把 200,000 个按低价、1,000 个按高价来算。它里面的每一个 token 都换到了上档费率。这正是让它成为一道悬崖、而不是一笔附加费的原因;也正是为什么用「平均上下文长度」搭出来的成本模型会在两个方向上都算错——对那些始终待在线下的运行估得太高,对那些翻过去的估得远远太低。

两列费率来自厂商自己的价格表,是扎实的那部分。至于「上档费率适用于整个请求而非超出部分」,第三方分析的说法一致,但我们无法把它追溯到官方文档里的某一句话;缓存 token 是否计入阈值也是同样情况——STEP 3 给出用两次 API 调用在你自己的账户上把这两件事都定下来的办法。费率会变;在你把一份预测定稿之前,请重读那张表。

步骤 2把这个例子算一遍,因为它的形状违反直觉。

设想一个有大段固定前缀的编码或研究智能体——仓库地图、指令、检索到的文档——缓存了 180,000 个 token,再加上 25,000 个 token 的新鲜工具结果与对话,产出 2,000 个 token。这是一次 205,000 token 的请求:越线 2.5%。

at 180k cached + 20k fresh = 200k (under the line)
  cached   180,000 @ $0.20/M   = $0.0360
  fresh     20,000 @ $2.00/M   = $0.0400
  output     2,000 @ $12.00/M  = $0.0240
                                 -------
                                 $0.1000

at 180k cached + 25k fresh = 205k (over the line)
  cached   180,000 @ $0.40/M   = $0.0720
  fresh     25,000 @ $4.00/M   = $0.1000
  output     2,000 @ $18.00/M  = $0.0360
                                 -------
                                 $0.2080

+2.5% tokens  ->  +108% cost on the call

把它放到一个机群上跑,后果就是一张看不出成因的账单。按每天 20,000 次调用算,两种剖面大约是每天 $2,000 与 $4,160——一个每月 65,000 美元的差额,而制造它的是五千个额外的工具输出 token,没人为此提交过任何变更。还要注意便宜的那个修法朝哪个方向走:削掉 6,000 个 token 的工具结果,约占请求的 3%,就把这次调用砍掉了一半。这是换模型给不了的回报,也与更少 token vs 更便宜的 token里通常的建议相反——在悬崖附近,「更少 token」取胜的幅度与每 token 费率毫无关系。

步骤 3通常的罪魁祸首是缓存,而它正是你有意加上的那个东西。

这是会把谨慎的团队也绕进去的一段。提示缓存把重复前缀的费率压低一个数量级——Gemini 的缓存输入费率在两个档位里都是标准价的十分之一——所以理性的做法就是一段又大又稳定的前缀,而提示缓存几乎是对智能体回路的普适建议。但那些缓存 token 仍然在这次请求里。它们几乎肯定计入阈值,而缓存费率本身也有两档:线下每百万 $0.20,线上 $0.40。

所以一段 180,000 token 的缓存前缀,并不是一项「恰好有点大」的成本优化。它是一个长期停在悬崖九成高度处的仓位:在那里,每一回合寻常的增长——多一条工具结果、多一份检索到的文档、从上一步带过来的推理——都会越线,并把那 180,000 个缓存 token 的费率也一并翻倍。你买到的折扣还在;只是它被作用在一个翻倍了的基数上。

这对「如何给前缀定尺寸」有两个推论。把阈值、而不是窗口,当成预算:如果你模型的悬崖在 200,000 token,那么超过约 120,000 的前缀就不给一次运行留任何呼吸空间,应当拆分或削减,而不是整段缓存。还有,要测量、不要假设——用同一段缓存前缀,发一次 199,000 token 的请求和一次 201,000 token 的请求,然后比较计费金额。两次调用就能为你的账户和模型定下任何博客文章都定不了的事,包括缓存 token 是否计入阈值这个问题。存储是另一个按时间计的计价器,在 Gemini 的表上约为每百万 token 每小时 $4.50;那一侧见上下文缓存经济学。

步骤 4智能体是「不小心」越过阈值的,这正是它成为运营问题的原因。

一个聊天产品的提示长度大致是用户的函数。而智能体的提示长度是「这次运行走得怎么样」的函数,并且回路里没有任何东西知道其中藏着一道价格边:

  • 工具结果默认是无界的。一次啰嗦的 API 响应、一次大文件读取、一页搜索结果,请求就跳涨几万个 token——这正是大结果与分页要去界定的问题。
  • 推理 token 会累积。当推理被跨工具调用带下去时,它会作为输入进入下一次请求,于是即便某个回合没有任何新信息进来,请求也还是在变大;见推理 token 核算。
  • 重试放大会把昂贵的调用再乘一遍。一次在上档失败的调用,会在上档被重试,因为重试带着同样超大的上下文——重试放大,现在还多了一个费率乘数。
  • 压缩触发得太晚。如果你的压缩触发条件是窗口的某个比例——比如 1M 的 80%——那么它在远远越过 200K 的阈值之后才会触发。触发条件必须对着价格边来设,而不是对着容量上限。

这就让修法成了一次配置改动,而不是一次架构改动。给请求体积设一个低于阈值的硬上限,并且让执行它的,就是你已经在管理窗口的那套机制:在悬崖处触发的上下文压缩、负责分配的上下文预算,以及一条对工具结果的截断规则,好让单独一次响应没法独自把一次运行推翻过去。

步骤 5厂商的做法各不相同而且会变,所以把悬崖当成「每个模型各自的事实」。

这里没有一条跨厂商的规律可学,而这本身就是有用的发现:阈值是逐模型的定价决定,会在代际之间移动,所以它该和上下文窗口、费率一起,放进你的模型元数据里。

截至 2026 年 11 月,Gemini 的 Pro 系列在 200,000 token 处带着这套双档结构,而 Flash 档位是平价的。Anthropic 的情况是二手资料分歧最大的那一个——有的报道称早前「200K 以上 2 倍」的附加费在近几代 Claude 上已被取消、整个百万 token 窗口按标准费率计费,而最小的那个模型据报有一个更低的阈值;我们无法从厂商自己的表格里把这件事定下来,而你在核对之前不该按其中任何一个版本去做规划。OpenAI 的处理方式同样在不同模型代际上被两种说法都报道过。

在运营上,不必再操心「今天哪种说法为真」的办法是:把阈值和两组费率都记成你所调用的每个模型上的字段,在检查定价表的那个测试里一并断言它们,并在请求超过已记录的阈值时告警。这与分词器变化与你的成本基线是同一套纪律——厂商一侧对「你的 token 如何被计数或计价」所做的改动,应该让一个测试失败,而不是表现为一个糟糕的月份。而当一个模型下线时,替代者的悬崖可能落在别处,这属于模型下线与迁移里的检查清单。

步骤 6把这道悬崖做进你已经在看的那些数字里。

「每次运行的平均成本」把这件事藏得严严实实,因为分布是双峰的:多数运行待在线下,少数待在线上、差不多贵一倍,而均值落在两群都不占据的某个地方。有三项埋点改动能让它可读,而且三项都很便宜:

  • 把请求输入 token 记成一个分布、而不是一个均值,并把阈值画在上面。你想要的那个数字是「越线调用的占比」;它的可操作性是均值给不了的,而且当有人放宽了某个工具结果时,它会动。这些 span 向上汇总的地方是成本归因与预算。
  • 给每次调用打上它实际计费所在档位的标签,这样每任务成本就能按档位拆开看。账单在涨而档位构成持平,那是流量增长;账单持平而档位构成在涨,那是一处提示改动即将变贵。
  • 对占比告警,不要对花费告警。花费把「量」和「费率」混在一起。档位占比则单独隔离出一处提示或工具改动真正会动的那个量,这才让它在预测智能体支出里成为一个可用的信号。

一次就把这件事做完。查出生产环境里每一个模型的阈值与两组费率,写进你的模型元数据——对好几个模型来说答案会是「没有阈值」,而这一点值得明确地知道。然后把上周的请求输入 token 分布,对着每个阈值画出来:如果没有任何调用落在某条线的 20% 以内,就到此为止,你没有这个问题。如果有一条尾巴正在越线,就把压缩的触发点设在阈值的约 90% 处、而不是窗口的某个比例,给任何单次工具结果设一个「阈值的百分之几」的上限,然后重跑一遍。只有在这之后,才去考虑换一个平价费率的模型——因为为了躲开一道你本可以用上限封住的悬崖而迁移模型,是这个修法的昂贵版本。