一个估算出来的成本不只是带着误差。它带着的那种误差,会把你的功能排错序。
两次提示词逐字节相同的请求,输入成本可以差出十二倍以上,因为一次按基础输入价的 1.25 倍写了一条缓存,另一次按 0.1 倍读了它——而你的提示词里没有任何东西告得知你发生的是哪一种。这件事的影响远不止精度:繁忙的功能跑在热缓存上、清闲的跑在冷的上,于是按 token 数估成本会把前者高估近一个数量级、把后者低估,而你砍掉的恰是便宜那个。所以归因是一个在第一个请求发出之前、在调用点做出的记录决策,不是一次你以后可以补做的分析——因为决定那个数字的那些字段是由供应方返回的,别的任何东西都重建不出来。
步骤 1账单恰好是按你没法据以行动的那两个维度汇总的。
账单按 API key、按月到来。而驱动决策的问题是:哪个功能不赚钱、哪个租户在被其他租户补贴、哪个用户是离群点、以及周二那次部署之后哪条代码路径退化了。这些没有一个能从账单里答出来,而且事后再怎么分析也找不回一个当初从未被记录的维度——这正是这件事属于工程任务而不是财务任务的全部原因。
所以归因意味着把你据以决策的那些维度带过每一次调用,并在花费发生时就记在它们名下。团队弄错的那部分不是「带」。而是相信「花费」可以事后从他们确实记下的东西里算出来。
步骤 2请记录供应方的 usage 对象,因为有三项开支不在你的提示词里。
那个直觉式的估算——数一数你发了多少 token,乘以挂牌价——在三个方面是错的,而且这三处都朝着与流量相关的方向偏。
- 缓存状态。Anthropic 对五分钟有效期的缓存写入按基础输入价的 1.25 倍计费、一小时有效期按 2 倍,而缓存读取按 0.1 倍。响应会告诉你你拿到的是哪一种,就在
cache_creation_input_tokens与cache_read_input_tokens里;你的提示词不会,因为两种情形下它都一模一样。OpenAI 把同一个区分报在input_tokens_details.cached_tokens上。 - 推理 token。它们按输出价计费、计在
output_tokens之内,并在output_tokens_details.reasoning_tokens下单列,而且不出现在可见的响应文本里。任何从「返回内容的长度」推出来的估算,都会少算一次推理密集的调用——而且在模型想得最久的时候少算得最多,而那正是这次调用最贵的时候。为推理 token 记账把测量那一侧走了一遍。 - 重试与扇出。一个用户任务不等于一个请求。它是「步数上限 × 并行工具调用 × 子智能体扇出 × 栈里每一层重试策略」的乘积,而最大的那一项不在任何配置文件里——模型自己决定换个方式再试一次。重试放大是完整的处理;对归因来说,后果是花费必须在一棵你事先并未枚举的请求树上求和。
修法是机械的,而且是本页价值最高的一行:在每一次调用上,把供应方返回的 usage 对象记下来,挂在你的成本上下文上。不是你对它的估算。不是你发送之前算出的 token 数。是那个返回的对象,整个存下来——因为下个季度的问题会需要一个你当初没想到要抽出来的字段。
有一个推论会抓住那些别的都做对了的团队:如果你的成本数字来自你本地对着自己的提示词跑的一个分词器,那它们是你花费的一个模型,而不是一次测量——而这个模型里没有缓存状态这一项、没有推理这一项,也没有「在你测量的那次调用下游发生的那些重试」这一项。
步骤 3把这笔算术算一遍,错序就显而易见了。
取一段共用的 8,000 token 系统前缀——指令、工具 schema、几个示例——并以「基础输入价」为单位给它定价,这样数字能搬到任何模型上。
- 未缓存:8,000 × 1.0 = 8,000 单位。
- 冷启动,写一条五分钟缓存:8,000 × 1.25 = 10,000 单位。
- 热,读它:8,000 × 0.1 = 800 单位。
冷到热,在同一段前缀上是 12.5 倍的跨度。现在把它应用到共用这段前缀的两个功能上。功能 A 每几秒就服务一个请求,于是几乎每次调用都读到一个热缓存,前缀的真实成本约 800 单位。功能 B 一小时用两次、总是过了那五分钟窗口,于是每次调用都在写,真实成本是 10,000。把两者都按挂牌输入价估算,你为每个都记下 8,000:你把 A 高估了十倍,把 B 低估了五分之一。在这个组件上,A 的每次调用其实比 B 便宜约十二倍,而你的仪表盘说它们一样。
这就是本页的论证,浓缩成一个算例。估算里的误差不是会在各功能间平均掉的噪声;它是调用频率的函数,而调用频率恰恰就是把各功能彼此区分开的那个变量。所以估算不只是把排序弄模糊了,它把排序弄反了——而归因存在的意义正是产出那个排序。一个把你正在二选一的两样东西排错序的数字,比没有数字更糟,因为你会照着它行动。
趁这笔算术还摆在桌上,有两件事是白捡的。五分钟缓存从第一次复用起就优于未缓存(1.25 + 0.1 = 1.35,对两次未缓存调用的 2.0)。而一小时缓存按 2 倍写入计,要到第二次复用才追上来(2.0 + 0.1 + 0.1 = 2.2,对 3.0)。如果你的流量没法可靠地在一小时内送来第二次命中,那更长的有效期就是亏的——而这个判断你只能从记录下来的命中率里做出,这就又把你带回了 STEP 2。
步骤 4给每一次调用盖上成本上下文,并让它穿过扇出传下去。
一个成本上下文对象在任务开始时创建,并随任务一起走,包括走进每一个子智能体与每一次工具调用。每个响应的 usage 都记在那个上下文名下。难的部分是传播,而它难就难在钱所在的那个位置:一个丢了上下文的子智能体,把它的花费归给了没有人——而扇出正是那些昂贵的深度工作所在之处。
# cost/attribution.py — context travels with the task, into children class CostContext: def __init__(self, tenant, feature, user, version): self.tenant, self.feature = tenant, feature self.user, self.version = user, version def record(self, resp): u = resp.usage # the PROVIDER's object, not an estimate emit("spend", tenant=self.tenant, feature=self.feature, user=self.user, version=self.version, input=u.input_tokens, cache_write=u.cache_creation_input_tokens, cache_read=u.cache_read_input_tokens, output=u.output_tokens, # includes reasoning tokens reasoning=u.reasoning_tokens, raw=u) # keep it whole; next quarter needs a field def spawn_child(ctx): return ctx # SAME context — unattributed spend is the bug
请存 token 计数,而不是一个算好的金额,并在查询时再套价格。价格会变,而一个存下来的金额把你当时碰巧适用的那个费率冻住了——这会让一年的历史彼此不可比,并在供应方降价的那个季度悄悄把账说错。价格通缩与每任务成本讲的就是为什么这件事在这个市场比在多数市场更要紧。
然后去对账,因为对账是唯一能告诉你这条管道有没有在工作的东西。把你这个月记录的花费求和,与账单对比,并把差额作为一个百分比,摆在你汇报的每一个归因数字旁边。差额在百分之几以内,说明你的上下文传播得动;差额很大,说明花费正落进一个未归因的桶里,而那个桶里不成比例地装着多步深度工作——因为那正是会扇出的工作。一个诚实版本的「按功能成本」,是那个数字加上它的对账误差,正如单位经济学所论证的:一个单位成本的可信度只等于它背后那个判定器。
步骤 5归因到能映射成手柄的那个维度,然后把预算做成运行时控制。
记下模型名字很容易,而且几乎没用。请沿着能映射成一个动作的轴来归因:功能(砍掉或重新定价)、租户(重新谈或限流)、用户群(发现滥用,或找到一个值得学习的重度用户)、版本(抓住那次让成本翻倍的部署)。一个有用维度的检验标准是:它上面一个明确的坏读数,会在本周触发一个具体动作。如果什么也不会发生,那这个标签就是遥测剧场。在这个市场里还要加一项:把模型与 effort 设置也记成一个维度,因为一个在你脚下移动的供应方默认值,会在你仓库里没有任何 diff 的情况下改变成本——这正是未被钉住的厂商默认值讲的那种失效。
而一个在仪表盘里与实际值对比的月度预算什么也没做,因为等到仪表盘变红,钱已经花掉了。一个真正的预算是一个计数器,按租户或功能定作用域,在请求路径上被扣减,并在被跨越时改变行为。
- 按租户的上限,这样一个客户的失控消耗不掉共享池、把其他所有人饿死。
- 先软后硬的阈值——在软线上降级(更便宜的模型、更低的 effort、更小的上下文、关掉可选工具);在硬线上失败趋关闭并告警。
- 在那次昂贵调用之前检查,而不是在它之后对账。
- 一个按速度触发的断路器,按每分钟花费、或按「每任务成本超过历史中位数的若干倍」跳闸。告警叙述的是一场已在进行中的事故;断路器给它封顶。一个只有告警的系统,等于选择了为每一场事故全额付款;而当路径上有一把被偷的凭据时,那张账单是别人的流量——见钱包拒绝服务与成本攻击。
步骤 6什么时候更细的归因比它省下的更贵。
逐调用的归因与热路径上的预算检查,会增加延迟、存储与代码面。对一个走平摊预算的低流量内部工具,这套埋点真的可能比它所治理的花费更贵。请按你的决策真正会用到的粒度归因,不要更细。
在实践中站得住的那条分界是:永远记录供应方的 usage 对象,并永远开着按租户的断路器。前者是你本来就在打的那条日志上多几个字段,而且它是唯一一样你没法补录的东西——少记了一个月,就是你永远分析不了的一个月。后者便宜,并且给灾难封了顶。至于按用户、按调用的汇总,以及它们意味着的存储,留给那些「定价或毛利决策真的取决于它们」的产品。
如果你跑的是一个按额度计费的产品,请注意你现在有了第二个分母——消耗的额度对售出的额度——而这两者可以朝相反方向走。按额度计费的智能体产品讲的是那种情形,而那也是唯一一处归因直接喂给定价、而不是经由一次毛利复核的地方。
这周就做最小的那个版本:把供应方返回的 usage 对象整个存下来,加到你的调用本来就在打的那条日志上,旁边摆上租户、功能与版本。那是一个下午的事,它是本页唯一一个没法回溯补做的部分,也正是让此后每一个问题都答得出来的那一样。然后拿一个月与账单对账,并把差额写下来——如果它很大,请先把子智能体那条链上的上下文传播修好,再去建任何一块仪表盘,因为一张画在「大半未归因」之上的图表,是一个自信的错答案。