经济性在何处崩溃

9 分钟读完

B6
运营 · 经济性与 ROI

智能体的经济性是在分母上翻车的,而最大的那个乘数来自没人选过的默认值。

赚钱的智能体和亏钱的智能体,通常是同一个智能体遇上了不同的输入;而这一翻转在 token 计量表上根本看不见,因为这里每一处翻转动的都是分母,不是价格。重试、p99 长尾、人工升级,各自都在成倍放大「每件完成的活」的成本,而每 token 成本却纹丝不动——其中重试这个乘数尤其是由你继承而非挑选的库默认值拼出来的。唯一能照出这次翻转的数字是「每个被接受的产出的成本」,而且要看 p99。

步骤 1先把你的重试乘数算出来,再去争论模型价格。

几乎每一套智能体栈都至少在两层上重试,而在大多数栈里这两层都没人配置过。智能体真正依赖的那两个厂商 SDK,默认值都不是零:openai-python 与 anthropic-sdk-python 各自定义了 DEFAULT_MAX_RETRIES = 2,于是你以为只发了一次的调用,在你自己的代码看到错误之前,最多已经计费三次。Anthropic 的客户端会在连接错误、408、409、429 以及任何不低于 500 的状态码上重试,并且当服务端设置了那个非标准的 x-should-retry 响应头时也会照办。LangChain 的 ChatOpenAI 默认不设 max_retries 而是直接透传,因此它继承 SDK 的那个 2,而不是再叠一层——这是本栈中少数几个礼貌地叠加的默认值之一。

不再礼貌的地方是持久化执行那一层。Temporal 会自动重试 Activity,其默认重试策略以 1 秒间隔起步、退避系数 2.0、间隔上限为初始值的 100 倍,并把最大尝试次数设为无限——该字段默认为零,而零被判定为无限。相对地,Workflow Execution 默认不重试。于是一个生产级智能体最寻常的形状——一个 Temporal Activity 包着一次模型调用——就是「三次 HTTP 尝试」套在「无限次 Activity 尝试」里面,而挡在它与失控之间的只有 schedule-to-close 超时,那个也没有人替你设。

# what the defaults actually compose to, per logical call
sdk_attempts      = 3        # DEFAULT_MAX_RETRIES = 2, plus the original
activity_attempts = "unlimited"   # Temporal maximumAttempts = 0
framework_retry   = 1        # langchain-openai passes through: no extra layer

# and in a nested agent, the multiplier is per level
depth = 5
worst_case(3 ** depth)     # 243 billed calls for one logical step

请从你自己的配置里读数字,而不是从这一页读——以上是截至 2026 年 11 月各家出厂的默认值,而厂商会改。要点在那套算术:重试策略是一项穿着可靠性外衣的单位经济性决定,而它的最坏情况是相关的。当某个提供方性能下滑时,整个机群的每个任务都在同一分钟里重试,所以这个乘数不会摊薄到一个季度里慢慢到账,它会以「一个下午」的形态到账,并成为当月最大的那条成本线。失效形态见重试放大,而让重试在根本上变得安全的那套构造见幂等与重试。

步骤 2长尾吃掉的,正是中位数赚来的那点毛利。

任务成本服从幂律分布。中位任务很便宜;p99 任务常常是它的 50–100 倍,把循环、扇出与反复重读的上下文,全烧在这个智能体最不擅长的那批输入上。又因为长尾只占很小的量,所以在它吞掉大部分开销的整个过程中,它在均值成本看板上都是看不见的。

# the mean is healthy; the tail already ate the profit
median_cost = 0.18
p99_cost    = 14.0          # ~78x the median — same agent, hard input
tail_share  = 0.02          # 2% of tasks ...

tail_spend_fraction = (0.02 * 14.0) / (0.98 * 0.18 + 0.02 * 14.0)
# ≈ 0.61  — 2% of tasks are 61% of total cost

长尾并不是另外一批倒霉任务构成的独立人群。它是本页其他一切最终的落点:那次无上限的重试、那个没人截断的工具返回值、那次越过长上下文价格档位并把整个请求的费率翻倍的运行。这正是为什么在这里「设上限」胜过「做优化」。一个由框架强制、而非在提示词里恳求的「每任务步数与 token 上限」,能把无界的长尾变成有界的长尾——而有界的长尾是可以定价的。

优化中位数,优化的是那 39% 从来就不是问题的开销。请给长尾设上限、改路由,或者明确拒收,因为在发票到来之前,它不会出现在你盯着的任何一个平均值里。成本归因是前置条件:一个你无法关联到具体运行的 p99,你是找不到的。

步骤 3你的升级率盈亏平衡点里,根本没有 token 账单这一项。

人工升级是那个安全阀,同时也在悄悄摧毁单位经济性,原因在于选择效应:升级并不是对工作量的随机抽样,它扎堆在那些本来就最慢的难案子上。所以请按人群算,而不是按平均值算。假设 80% 的任务一个人要花 10 分钟、20% 要花 40 分钟,于是全人工的平均值是 16 分钟。智能体清掉容易的、把难的升级上来——但一个被升级的任务并不是一个 40 分钟的任务,因为现在这个人得先读完智能体做了一半的活、再判断它是否可信,然后才能开工。把这份开销算成 25%:50 分钟。

# minutes of human time per task
all_human      = 0.80 * 10 + 0.20 * 40      # = 16.0
escalated_task = 40 * 1.25                  # = 50.0 (read the agent's work first)

# with the agent, human time = escalation_rate * escalated_task
at_20_percent  = 0.20 * 50                  # = 10.0  -> 37% saved, not 80%
at_35_percent  = 0.35 * 50                  # = 17.5  -> worse than no agent

break_even     = 16.0 / 50.0                # = 0.32

这套算术掉出两个结论,两个都反直觉。第一,升级率的盈亏平衡点就是「全人工的平均任务时长」除以「被升级任务的时长」——智能体的 token 账单压根没出现在里面。按这组数字,无论你每百万 token 付多少钱,这次部署都会在 32% 左右的升级率上翻转,这也正是为什么「换个便宜模型」并不是对这一失效模式的回应。第二,由于升级选中的就是长尾,被升级任务的时长总是高于全人工平均值,所以盈亏平衡点总是低于 50%——而且往往低得多。一个升级率从 20% 漂到 35% 的智能体,并不是「差了 15%」。它是从「省下三分之一的活」跨到了「比什么都不做更贵」。

所以请把盈亏平衡点当作一个数字,publish 在升级率旁边,并对这个比值告警、而不是对升级率的绝对水平告警。两个输入都是可测的:给被升级的任务计时,再给同一批活在没有智能体的情况下抽样计时。如果你从来没测过第二项,那你并不知道自己在线的哪一侧——参见人工审阅的成本与零碎时间节省,那里把「省下多少分钟」这类说法好好拆了一遍。

步骤 4保障性支出随自主度增长,而不是随收入增长。

让一个自主智能体变得可信,要花试点期从来没花过的钱:对抽样或全量输出的评判调用、每次换模型与改提示词都要重跑的回归套件、带保留期时钟的追踪存储,以及对评测集本身的人工维护——因为一套无人维护的评测会悄悄停止测量任何东西。这笔成本跟的是智能体的自主度与影响半径,而不是它挣来的收入——于是你把它做得越安全、越自主,保障这条线就越挤压毛利,而且恰恰在「允许它在无人盯着的情况下动手」的地方挤压得最狠。

有两个会计上的错误会让这件事毫无预警地翻转。把它记作一次性的研发支出,会掩盖一笔周期性的销货成本:每一次模型退役都会迫使你重跑一遍,而模型退役并不是一件由你排期的事。而「用钱来核算审阅、却用人头来配给审阅」,则忽略了真正的约束——审阅容量是一道人头上限,不是一条预算线,所以智能体的吞吐量早在被开销卡住之前,就先被审阅者卡住了。那道上限是监督容量的主题;开销那一侧是评测的成本。

步骤 5静默失败这一税,是唯一永远到不了任何计量表的那条线。

最贵的那种失败,在你拥有的任何看板上都是零成本:一个自信而错误的答案,通过了智能体自己的检查、发了出去,然后在下游炸开——一笔退错的款、一次糟糕的合并、一条归错的记录。它的成本不在模型账单里。它在善后、在信任受损,以及在「对这个智能体此后碰过的一切做人工复核」。

  • 它不被计量。没有任何 token 计数器看得见它。它在数周之后以客服成本、拒付或客户流失的形态浮现,而到那时它已经没有可归因的运行记录了。
  • 它连赢的那些也一起收税。一次静默失败会迫使你把正确的输出也重新检查一遍,于是那份为智能体做辩护的人力节省被抹掉了——而这次复核,就是把 STEP 3 的升级算术追溯地套在你早已记作「已完成」的活上。
  • 它让 ROI 的说法层层复利。你的 ROI 把那个输出计成了成功。真实的账本会为它付第二次钱,而智能体错误的成本就是给这第二次付款定价的地方。

运营上的后果是:约束这一失效模式的是检测延迟,而不是错误率。一个静默错误率 2%、但当天就能发现的智能体,是一个可管理的产品;同一个智能体若有三周的检测滞后,就是一个修复工程,因为到那时那些错误动作已经是一堆需要重新判断的判断,而不是一批你能回滚的行。这份不对称正是修复智能体已经做下的事的全部论点,也是为什么失败隐瞒是一个经济性问题,而不只是一个安全性问题。

步骤 6什么时候,诚实的做法是收窄范围、或者干脆不上线。

当长尾无法被约束、升级率守不住它的盈亏平衡点、或者静默失败这一税超过了省下的人力时,经济性并不会随规模改善——它会翻转得更狠,因为这里每一个失效模式都是被量放大、而不是被量摊薄的。解法很少是一个更便宜的模型。它是一个让智能体真正可靠的更窄范围,或者是一个「这条工作流就不上线」的决定。一个只在容易的输入上赚钱的智能体,不是一个有调参问题的产品;它是一个更小的产品在假装自己更大——而主动把那个更小的产品发出去,比从一张发票上发现它要好得多。收缩一次部署就是这个决定的「迟到版」。

四项改动,按顺序来,没有一项需要改架构。一:在厂商客户端上设 max_retries=0,只在恰好一层里自己做重试,并把 maximumAttempts 与 schedule-to-close 超时显式设定、而不是继承默认。二:把「每个被接受的产出的成本」同时按 p50 与 p99 放上看板,这里的「被接受」指它通过了你的评测,而不是指它返回了。三:用实测分钟数算出升级率的盈亏平衡点,并在实时升级率越过它的某个固定比例时告警。四:把评测与审阅的开销从研发搬进销货成本,让你报出来的毛利就是你实际拥有的毛利。相关:单位经济性给出基础模型,而价格通缩与每任务成本解释了为什么 token 价格下行救不了这五个里的任何一个。