出错的代价

人人都有的三条成本线，和没人有的第四条。

翻开任何一份智能体商业论证，你都会看到推理开销、平台与工程那条线，以及——如果团队够细心——人工复核的成本。这三项都是发票。它们按月寄到、可归因，也因为看得见而被优化。它们通常是怎么拼起来的，见单位经济学。

第四条线，是当智能体答错、且没人抓到时的代价。它没有发票。它以一张贷记通知单、一次重跑、一位不再续约的客户、一封监管机构的来函、一个季度建立在一个从来就不对的数字之上的报表的形式抵达。因为它从不与令牌账单出现在同一页上，两者也就从不被放在一起权衡——而这正是全部的失败所在。

• 它不等同于复核成本。复核成本是你为抓住错误付的钱。错误成本是你为复核漏掉的那些付的钱，而两者朝相反方向移动——这正是这个数字存在所要定价的那笔交易。人工复核成本是一个分数的一半，而它的另一半通常是空白。
• 它不是风险登记册上的一条。一句定性的"高/中/低"没法与一个美元数字相比较，于是在实践中，它在与任何能被折成钱的成本节约的争论里全输。
• 它不能由准确率覆盖。"94% 准确"是一个比率。账单是这个比率乘以另外三样东西，而那三样在不同任务类之间的跨度，远比这个比率大。

把它拆成四个你真能找到出处的项。

每任务的期望错误成本是一个乘积，而把它写成乘积本身就贡献了大部分价值——因为它立刻显示出：人人争论不休的那个准确率，只是四个因子之一，而且很少是跨度最大的那个。

expected error cost per task
  = P(wrong)              # error rate on this task class
  x P(escapes | wrong)    # review and guardrails miss it
  x unit cost per escape  # what one escaped error costs to fix
  x amplification         # how far it travelled before detection

• P(wrong) 来自你的评测集，按任务类分，而不是总体。一个混在一起的准确率数字，会把"错了也不痛不痒"的那一类和"错了代价高昂"的那一类平均掉，而这个平均值对两者都没有意义。
• P(escapes | wrong) 是团队只靠假设、从不测量的那一项。它并不等于一减去复核者的尽责程度；它与"看上去有多可信"强相关，因为漏网的错误恰恰是那些看起来没问题的。把已知有问题的样本掺进复核队列，就能量出它。
• 每次漏网的单位成本是全成本口径的补救开销：修复、通知、赔付、工程工时、事后复盘。见第 3 步——这些数字你其实已经有了。
• 放大系数是那些在有人注意到之前就已扩散开来的错误的倍数。一个被三份下游报告引用过的错误数字，代价并不是三倍；它的代价是重新推导三份报告，外加其中每一个数字的可信度。

单位成本从你已经经历过的事故里取。

对以上一切的反对意见是：这些数字无从得知。它们并非无从得知——只是没被汇总起来。每一家用人工跑这套流程的组织，多年来一直在为同一套流程里的人为错误买单，而它的账早就以别的名目存在着。

• 从智能体之前的基线出发。退款与善意补偿、返工工时、保修与调整准备金、工单重开率，以及你财务团队计入运营损失的任何科目。这些是关于同一种失败、只是操作者不同的、真实且经过审计的数字。
• 就十个真实案例，问"一次糟糕的案例花了多少"。十件重构出来的事故胜过任何模型。要把人们习惯略过的部分算进去：那场会、那句道歉、对下游一切的手工对账，以及流程被暂停的那两周。
• 把检测与补救分开定价。查清 40,000 条记录里哪些受了影响，往往比修好它们更贵，而且这部分随体量而非随错误率增长。修复智能体的副作用是这条线在运维侧的那一半。
• 不要因为换成了智能体就把人工基线往下调。诱人的假设是：智能体的错误更便宜，因为它们是在软件里被抓到的。上了量之后恰恰相反：智能体犯的是相关的错，而且很快，所以一个坏模式会在有人复核到第二条之前就产出一千个同样的错误。人的错误是零售；智能体的错误是批发。

检测时延是一个乘数，不是一条脚注。

两个错误率完全相同的部署，错误成本可以差十倍，而差别就在于一个错误的输出在有人注意到之前存活了多久。时延是你手里工程杠杆最大的那一项，却几乎从来不出现在准确率旁边的看板上。

• 把检测耗时当作一个分布来量，不要只看均值。当班内发现是一次更正；下个季度才发现是一次财报重述。p95 才是决定你在为哪一种做预算的那个数。
• 可逆性给乘数封顶。一个你能撤销的动作，无论错误率多少，放大系数都接近一。任何离开你边界的东西——钱转出去了、邮件发出去了、一份记录报给了第三方——都撤不回来，并且立刻开始复利。
• 直接把时延买下来。延迟执行窗口、把对外的效应攒批、以及每晚对着一份权威来源做一次对账，都很便宜，而且能把放大系数压塌。这通常比把同样的钱花在模型能力上划算得多。
• 为反向查找埋好埋点。当你发现一个坏输出时，问题立刻变成"还有哪些输出与它同因？"，而能在一小时而不是一周内答出来，取决于很久以前做的一个追踪决策——见追踪与可观测性。

这个数字定自主等级，也给复核者标价。

一旦期望错误成本成了一个按任务类给出的数，团队争得最凶的那两个决策就不再是品味问题。两者都变成了针对同一个量的算术。

• 当复核消掉的期望错误成本多于它自身的成本时，它就值得买。一位每任务 6 美元、能抓住 70% 的复核者，用在期望错误成本 400 美元的地方显然值；同一位复核者用在 2 美元的任务类上，就是在烧钱换心安。正是这道计算让你能把复核力量不均匀地投放，而那是唯一负担得起的投放方式。
• 自主是逐动作的，而且是定过价的。自主性阶梯通常是按"舒不舒服"来争的；它应该按"这个动作的期望错误成本是否超过给它设关的成本"来争。这会产出一套混合策略——在大量廉价动作的长尾上自主、在少数昂贵动作上设关——而不是一个两头都不对的全局设置。
• 模型比较换了形状。当期望错误成本压过令牌账单时（多数时候如此），一个每任务贵三倍、却把错误率砍半的模型，值不值是不言自明的。只有这套框架能用财务接受的货币把这个论证讲出来。
• 弃答变得可购买。推迟让你付出一次复核；一个自信的错答让你付出一次漏网。只要后者大于前者，你就该在评分标准里明确地为弃答付钱——阈值见不确定性与校准，而为什么天花板由检查器而非模型决定，见生成-核验落差。

把它摆到令牌账单的同一页上，并按季度重算。

在商业论证里算过一次的数字，是一张幻灯片。真正改变决策的那个版本，坐在每成功任务成本旁边、按任务类拆开，并且随系统一起移动。

• 每个任务类一行，四列。用量、每任务期望错误成本、每任务的推理加复核成本，以及两者之比。人们读的是比值那一列：任何大于一的，都是一个你正在优化错误账单的任务类。
• 每次实质性变更后重算。换模型、改提示词、加新工具、调整复核队列的策略。错误成本不是任务的属性，而是当前这套配置的属性，而告诉你它动了的，是质量回归检测。
• 把漏网当作一等计数器来追踪。每一次确认的漏网错误都要连同其补救成本一起记录，分类沿用你分诊时用的那一套。一个季度之后，你就是在用自己的数据而不是智能体之前的基线做估算，而估算会明显变准——类别从哪来，见失败分类法与分诊。
• 盯着长尾，不是均值。期望错误成本是重尾的，理由和开销一样：高后果类里的一次漏网，就可能超过一整年的平均值。像预测智能体开销对成本所做的那样，每一类都在均值旁边带上一个 p95。