智能体单位经济学

8 分钟读完

B2
运维 · 经济性与投资回报

每成功任务成本是对的那个单位,而你算出来的那个数字,可信度只等于「判定什么算成功」的那个东西。

一个没有误差范围的单位经济学数字是营销数字,而误差来自你的成功判定器,不是来自你的账单。每成功任务成本仍然是唯一值得摆上仪表盘的单位——但一个会把 8% 的失败判成通过的裁判,悄悄撬动的幅度就超过你正在考虑的任何 token 优化;而人工标注出来的成功率,其抽样区间通常比你在它之上宣称的毛利还要宽。

步骤 1账单便宜了六倍,而几乎没人的每产出成本动过。

团队之所以给每 token 成本和每次 API 调用成本上仪表,是因为这两个数直接从发票上掉出来。它们衡量的都是投入的力气,不是交付的价值:token 不是交付物,完成的任务才是。真正要紧的那个单位,业界的名字是每成功任务成本——所有尝试的总成本,除以真正产出了结果的那些尝试的次数。

两者之间的差距不是学术问题,过去三年就是证据。前沿模型的输入 token 现在大约只要 GPT-4 在 2023 年标价的六分之一,一个够用的便宜模型更只要其中的一小部分,可极少有智能体部署因此便宜了六倍——因为一条智能体式工作流烧掉的 token 是一次对话补全的五到三十倍。Anthropic 在 2025 年 6 月写下的、关于它自己那套多智能体研究系统的公开数字,大约是一次对话交互的 15 倍 token,而一个普通的单智能体在 4 倍上下。通缩落在了一个没人购买的单位上。价格通缩与每任务成本有这个论证的完整版本;在这里重要的是它的推论:在整场价格崩塌里唯一始终有意义的那条线,是每完成一次产出的成本。

步骤 2把这个单位写出来,杠杆就一目了然——全都在分母上。

一个每跑一次 0.40 美元的智能体看起来很便宜,直到你知道它的成功率是 60%。客户为成功付钱;而每一次尝试都是你在付钱。再把重试税算进去,形状就是这样:

# cost per successful task — the denominator does the work
attempts        = 1000
cost_per_run    = 0.40          # you pay this every attempt, win or lose
success_rate    = 0.70
retries_per_win = 1.3           # failed tries before a win still bill

cost_per_win = (cost_per_run * retries_per_win) / success_rate
# = 0.52 / 0.70 = $0.74  — not the $0.40 on the dashboard

把成功率从 70% 提到 85%,在模型价格完全不变的情况下就把每次成功的成本砍掉约 18%,而且同时把产品做得更好。这个幅度几乎超过任何 token 优化,也正因如此,更少的 token vs 更便宜的 token 是个二阶问题:这两根杠杆作用的都是分子,而分子是那个更小的项。

在优化模型之前,先优化分母。一处可靠性修复会从三个方向复利——它压低每次成功的成本、抬高交付的价值、还缩掉重试税。调 token 只碰得到一项。

步骤 3分母是你那个判定器的性质,不是你那个智能体的性质。

下面这一段几乎从来没人上仪表。你观测不到成功率。你观测到的是某个判定器对成功率的意见,而这个判定器有它自己的错误率,并且会一路传导进这个单位里。

假设 1,000 次尝试,测出来 700 次通过,而「通过」这个判决来自一个模型裁判。在智能体轨迹上,裁判离完美很远;假阳性率落在高个位数是个很平常的发现、而非悲观的假设——因为「看起来很像样、结果却是错的」那条轨迹,恰恰是裁判最不擅长的情形。把 8% 的假阳性率带进去:

# a judge's false positives inflate the denominator you divide by
measured_passes = 700           # what the judge said
judge_fpr       = 0.08          # share of true failures it passes anyway
true_failures   = 300

inflated   = true_failures * judge_fpr          # = 24 silent failures counted as wins
real_passes = measured_passes - inflated        # = 676, i.e. 67.6% not 70%

# the unit moves with it: 0.52 / 0.676 = $0.77, against the $0.74 you reported

测量成功率上的三个百分点,就是这个单位上 4% 的误差——比大多数人一个季度里真正落地的 token 节省都大,而且方向还是反的。更糟的是,它是系统性误差:它不会在月度之间互相抵消,而且恰恰在智能体被推去做更难的活儿时变大,因为那正是裁判假阳性上升的时候。如果给活儿打分的是同一个干活儿的模型,你量的就是自信而不是正确性,而分母正好被那些没人看见的失败撑大了。用 LLM 当裁判评估智能体讲的是怎么校准它;经济性在何处崩溃把由此产生的那条线叫作无声失败税。

所以这个单位能够成立的前提,是一个客观、可自动化、而且客户会同意的判决——一张被解决的工单、一个被合并的 PR、一张被批准的发票——外加那个产出判决的东西的、已被测出来的错误率。缺了第一样,你有的是一个没有单位的成本数字。缺了第二样,你有的是一个没有精度的单位。

步骤 4把这个单位报成一个区间,并算清撑得起这个区间的样本量。

就算人的判决完美无缺,它也是抽样来的。如果你人工标了 300 次尝试、其中 210 次通过,点估计是 70%,而 95% 区间大约是 ±5 个百分点——正态近似给出 1.96 × sqrt(0.7 × 0.3 / 300) ≈ 0.052。把它推过这个单位,0.74 美元就变成大约 0.69 到 0.80 美元的一个范围,宽度 15%。如果你宣称的毛利比这个宽度还薄,那你其实还不知道这个产品到底赚不赚钱。

样本量要从你需要的精度倒推,而不是挑个整数。要把 70% 的成功率知道到 95% 置信下的 ±2 个百分点,代价是 1.96² × 0.7 × 0.3 / 0.02² ≈ 2,017 个标注;±1 个百分点要四倍于此,因为精度的代价按平方增长。在你承诺一个自己守不住的数字之前,先决定你付得起知道多少。评测的成本给这份标注工作标了价,而为何评估智能体很难解释了为什么一条轨迹的单标注成本高于一次分类。

要么三个数字一起报,要么一个都别报:点估计、区间,以及产出这些判决的那个判定器。「0.74 美元」与「0.74 美元 ± 0.06 美元,由一个在 300 条人工标注轨迹上测得 8% 假阳性率的模型判定」是同一套算术,却是完全不同的两个主张。只有后者能被审计,也只有后者能在有人问「你怎么知道」的董事会上活下来。

步骤 5把成本那一侧装满,包括那张没人算过的账单。

毛利是价格减去满载的每次成功成本,不是价格减去模型开销。两者之间夹着四条线,而惯常的错误是把第一条当成全部清单:

  • 人工上报。如果 8% 的任务以 6 美元的满载人力成本落回给人,那在平均一次成功上就是约 0.48 美元——经常比模型那条线还大。人工复核的成本给出了更锋利的那一点:这是唯一一条不会随智能体变好而缩小的开销,因为复核者连正确的输出也得读。
  • 评测与可观测性。裁判调用、追踪、STEP 4 里那些抽样标注。这是因为你决定要搞清自己的数字而真实存在的每任务成本,它不会因为碍事就变成管理费用。
  • 漏出去的错误。退款、返工、丢掉的客户。出错的代价论证在多数部署里这条线比 token 账单高出一到两个数量级;它也正是 STEP 3 里那些无声失败直接喂养的那条线。
  • 常备账单。索引、评估套件、追踪留存、容量下限、值班。固定成本与试点税讲了为什么拿它去除一个试点的任务数会得到一个什么都说明不了的数字——以及为什么在低用量时,盈亏平衡量才是那个诚实的数。

按满载的那个数定价。一个按原始模型成本定价的产品,在上报率或长尾第一次移动的时候就是负毛利,而这两样都会动。

步骤 6决定存活的是分布,而一个被计量的单位可能在你脚下移动。

智能体的每任务成本是严重右偏的:多数任务很便宜,少数几个因为长循环、深扇出与重试风暴而烧掉中位数的 50–100 倍。均值可以看起来很健康,而第 95 百分位的那个任务把这个月吃掉。请按 p95 的成本月份而不是平均值来做承保——一个只在均值上盈利的生意,恰恰在最忙的时候亏钱。预测智能体开销是把这件事做对的算术。

有一个较新的皱褶改变的是算术本身,而不是金额。当你买下的智能体是按厂商额度计价的,你的每成功任务成本就以一个与货币没有固定汇率的单位计价。Notion 在 2026 年 10 月的打包给 Business 与 Enterprise 席位每月 1,500 个路由额度加 500 个自选额度,不结转、不公布换算率,而决定一次任务消耗多少额度的是厂商自己的路由器;GitHub 在 2026 年 6 月 1 日走了反方向,把 1 个 AI Credit 钉在 1 美分上。在没有挂钩的那种情形里,你需要两个单位——每成功任务多少额度,用来管配额;每成功任务多少钱,用来管生意——而从产品内部只看得见第一个。按额度计费的智能体产品讲了要以书面形式问清哪些事。

也请给每 token 成本留一个用途:在比较同一个任务、在同一个已测成功率下的两种实现时,它是正确的透镜——那里更便宜的 token 就是纯毛利。错误在于把它提拔成头条业务指标。一个失败任务上的更便宜 token,只是一条亏钱更快的路。

请按这个顺序做。把成功定义成一个客户会同意的判决。在报出任何数字之前,先拿人工标注测出判定器的假阳性率。为你需要的精度人工标够次数——±2 个百分点大约需要 2,000 条——并把这个单位连同判定器的名字一起报成一个区间。把上报、评测、漏出的错误与常备账单都装进分子。按 p95 而不是均值做承保。如果只留一句话:token 账单被量到了小数点后四位,而分母还是个猜测,所以把你下一个上仪表的小时花在分母上。