衡量智能体投资回报

7 分钟读完

B4
运维 · 经济性与投资回报

报告 AI 带来 EBIT 影响的企业比例,一年都没动过,而同期智能体的部署几乎翻倍。稀缺的不是价值,是度量——而你需要的那条基线,在你上线那天就被摧毁了。

一次智能体部署里最昂贵的遗漏,是一个你只可能在它上线前一周测到的数字。麦肯锡 2026 年 8 月 25 日发布的《State of AI in 2026》发现:89% 的组织在用 AI、44% 已在全企业范围铺开、37% 报告了正面的 EBIT 影响——而这 37% 与一年前一模一样,同期大型企业中把智能体铺开的比例却从 27% 升到了 40%。部署数字翻倍而回报数字持平,这不是对智能体的判决,而是对度量的判决;而唯一一个你无法事后补测的量,就是「没有这个智能体会发生什么」。请在建智能体之前先把反事实建好,因为智能体上线的那一天,基线就不再可被观测了。

步骤 1那个著名的 95%,是一个度量统计,却被读成了一个失败统计。

MIT 的 NANDA 报告《The GenAI Divide》发现,约 95% 的生成式 AI 试点没有呈现出可度量的损益表影响——依据是 150 次访谈、一份 350 人的员工调查,以及对 300 个公开部署案例的分析。它被广泛引用成「95% 的 AI 项目失败了」。它并没有这么说。它说的是影响没有被测到——而报告作者本人也指出,这个结论部分反映的是度量数据的缺失。该报告属于初步成果、未经同行评审,这本身就是一个理由:引用它时,只引用它真正立住的那部分。

这个区分就是整门手艺所在。一个有真实价值但没有基线的试点,在财务复核眼里,与一个没有价值的试点无从分辨。两者都只产出一份使用量报告和一个耸肩。这种不对称相当残酷:没有度量的价值,可靠地被读成零;而没有价值的度量,被读成一个你能据此行动的负数。这两种失败里,只有一种能教给你东西。

如果你的投资回报论证是在智能体已经上生产之后才拼起来的,那你不是在度量回报——你是在重建它,而重建所用的数据,出自一个已经被这个智能体改变过的世界。那份重建品正是财务复核会毙掉的东西,而它也理应被毙掉。

步骤 2「智能体替代一个人」这个框架是范畴错误。

智能体很少替掉一整个岗位;它吸走一片任务,并改变其余任务的形状。把回报算成「裁掉的人头 × 薪酬」,前提是那个人消失了——但通常他只是转去复核这个智能体、处理它的上报,以及做它做不了的判断工作。诚实的问题不是「这替掉了哪个人」,而是「现在被做掉、而此前没有被做的那些工作,其边际价值是多少,再扣掉仍然需要的人力投入」。常见的赢面是任何人头规划都不会批的吞吐量或覆盖面,而不是你删掉的某一行薪酬。零碎的时间节省这一页讲的就是:智能体还给你的那些分钟,为什么经常攒不成一个可计费的小时。

步骤 3没有反事实基线,就没有投资回报,只有一个故事。

投资回报是相对于本来也会发生的事的价值。如果工单量本来就在下降,或者一篇既有的帮助文档本来就已经拦掉了同类意图的三分之一,那智能体只挣得基线之上的那个增量。最强的基线是一份你在上线之后仍然保留的随机留存组;其次是带对照分段的前后对比;最弱的是一个把假设摊开来说清楚的反事实估算。

# ROI is the delta over the counterfactual, net of new costs
value_with_agent     = outcomes_delivered * value_per_outcome
value_counterfactual = baseline_outcomes  * value_per_outcome   # happens anyway

incremental_value = value_with_agent - value_counterfactual
roi = (incremental_value - loaded_agent_cost) / loaded_agent_cost
# crediting the agent with value_with_agent alone is the lie

即便让人不舒服,也要留着那个留存组。把 5% 的流量留在老路径上,代价是 5% 的上行收益,换来的是这个模型里唯一一个不是断言的数字。它也是唯一能熬过「前后对比杀手」的仪器:业务上其余一切都在同时变化。

步骤 4把一个季度算两遍:有基线和没基线。

一个客服智能体跑了一个季度。它关掉了 12,400 张工单且无重开。该类工单的人工全载处理成本是 $6.20,于是台面上的价值是 12,400 × $6.20 = $76,880。再看成本侧,按全载算:推理 $9,100;对 2,100 条被标记输出做人工复核,每条 4 分钟 = 140 小时 × $42 = $5,880;1,860 次上报按 $8.90 计(难案子比均值更贵)= $16,554;再加 0.25 个工程师用在评测、提示词与模型迁移的折腾上 = $41,000。全载成本合计 $72,534。

# the same quarter, scored two ways
naive   = (76_880 - 72_534) / 72_534            # +6.0%  -> "ship it"

# the help article already deflected 31% of these intents last year
baseline          = 12_400 * 0.31               # 3,844 tickets, no agent needed
incremental_value = (12_400 - 3_844) * 6.20     # $53,047
honest  = (53_047 - 72_534) / 72_534            # -26.9% -> "not here, not yet"

同一个智能体、同一个季度、同一批数据:+6.0% 还是 −26.9%,差别只在一个数字——智能体存在之前,那篇帮助文档在这些意图上的拦截率。注意是什么让它变得无法挽回。一旦智能体开始应答,那篇文档的流量和它的拦截率都会变,于是基线事后无法从生产数据里测出来;它只能被估算,而估算它的人,必然是希望这个项目活下去的那个人。同时,成本栈里最大的单项是那个工程师——这正是为什么只数 token 的回报模型会把正负号算错,也正是为什么成本归因必须跑在供应方返回的用量上,而不是你对它的估算上。

步骤 5把价值定义成一个被核实的结果,并把价值实现时间当作那个决定拨款的数字。

「智能体处理了 40,000 个请求」是活动量——不管这些活儿有没有帮上忙,这个数都会涨。价值必须是一个与业务本来就信任的指标挂钩的、被核实的结果:无重开的已解决工单、转化了的合格线索、被下游接受的文档。如果你说不出那个被核实的结果,你就还没有一份投资回报论证,你有的是一份使用量报告。

然后要看累计曲线,而不是渐近值。智能体有爬坡期:上线时成功率低、复核量重,随着评测收紧而变好。稳态回报可以非常漂亮,而累计现金头寸却连续数月深陷负值;一个按第一个月的数字被评判的项目——或者拨到的跑道短于它的价值实现时间——会在挣回本之前就被砍掉。两道防线:在申请拨款时就写明盈亏平衡发生在第几个月;以及报告曲线而不是当期费率,这样一个「正在改善的负数」才能被读成它本来的样子。

  • 把指标预先登记下来。在上线之前,用书面形式写明结果、基线与留存组。看过数据之后才挑的指标,是为了讨好数据而挑的指标。
  • 每次模型迁移都要重测。一次换模会同时改变成功率、复核负载与每任务成本;旧的回报数字不能平移过来,而单位经济学是直接反转,不是慢慢漂移。
  • 把试点的经济性与平台的经济性分开。第一个智能体背着整个平台的建设成本;第五个几乎什么都不背。把这笔全摊到一号智能体头上,就是砍掉那个本来会替五号付账的项目。

步骤 6当诚实的回报数字是「还不行,而且也许不该在这里」。

如果价值无法核实、基线无从知晓,或者全载的人力成本吃掉了全部收益,那么诚实的回答就是:这还不是一个投资回报为正的用例——而现在把这句话说出来,比一年后才发现它便宜得多。在麦肯锡 2026 年的调查里,约 6% 的组织够得上「AI 高绩效者」;与其把它读成一个警告,不如把它读成一种描述:在这个领域里,被测到的方差大部分仍然来自执行与度量。一个如实的负面结果会把投资重新导向一个真能过线的用例;而缩减部署规模是一个正当的结局,不是一次认输。

在下一个智能体上线之前,把三件事写下来,并让掌管预算的那个人连署:你将要去数的那个被核实的结果;此刻测出来的该结果的基线率;以及将留在老路径上充当留存组的流量占比。那一页纸比任何事后模型都值钱,因为它是这个数字唯一「不是事后挑出来的」版本。一个经不起敌意财务复核的回报模型,不是保守分析,而是一次预约好的项目取消。