按客户的单位经济模型

B7
运维 · 经济性与投资回报

按客户的单位经济模型:整盘的单位数遮住了到底是哪些客户在帮你点钱。

一个健康的整盘"每个成功任务成本",是一个分布上的平均;平均会遮住那几个个体经济模型深深亏水线的租户——而一条由便宜用户组成的长头正在替他们扛着。本文讲的是按租户的成本视图:要桶什么、什么造就长尾用户、你真正有的杠杆,以及那条最重要决定的诚实表述:什么时候停止服务一个没法被有利润地服务的客户。

STEP 1

整盘的数字,是一个你不知道形状的分布上的平均。

你给 unit-economics 装好了埋点;仪表盘说每个成功任务的成本是 0.74 美元,价格是 1.20 美元,利润看着健康。这个数字是真的,结论却是错的:那 0.74 美元是一个均值,底下的分布严重右偏。中位数客户每任务可能花 0.30 美元;p95 那位客户每任务可能花 5 美元;p99 那位可能花 40 美元。你的仪表盘说你赚钱,你的账上说前 1% 的客户把你全部利润吃光、还要再啃一口。

本文要做的诊断,不是"一个平均任务花多少",而是"按客户切片之后,每任务成本分布长什么样"。回答不出第二个问题之前,你是在为这个分布的形状付钱、却不知道它的形状。

STEP 2

按租户的视图:把每一项成本驱动按客户分桶。

你想要的是每个租户、每个周期一行,把那些塑造成本的变量单独列出来——而不是只列美元总额。最能出信号的几列:

  • 输入 token / 输出 token,分开列。长上下文用户出现在第一列;输出冗长的用户出现在第二列。两者每百万 token 的价格很不一样,缓解手段也很不一样。
  • 每任务的工具调用数,把读调用与写调用分开。任务扇出到 30 次工具调用的用户,与任务在 3 次结束的用户,付的是结构上完全不同的价格,把这两者压下来的杠杆也不同。
  • 每任务的检索查询数与 rerank 次数——检索是自己一项成本线,在一个扁平的"API 花费"数字里往往是隐形的,对长文档工作负载尤其失衡。
  • 每成功的重试数(任务关闭前失败的尝试次数)——这是 unit-economics 那个分母在租户层级的版本;某一个租户的"每成功重试数"是中位数的 4 倍,就意味着这个租户的 CPST 结构性地高 4 倍。
  • 升级到人工的次数——对任何带人工兜底的部署,升级率远高于平均的租户还吃掉了人力成本。在很多产品里这是最贵的一项。

把这些数桶起来、按总成本降序排租户,那个重尾分布就显形了——通常是百分之几的客户加起来抵掉其余加总的好几倍。

STEP 3

到底什么造就了长尾用户。

跑过这套分析的团队,那个长尾租户基本会落在少数几种形态里——而每种的修法不同:

  • 长会话。用户一直把对话续下去,上下文在变长,之后每一轮都为一个越来越大的提示词付钱。提供商的提示缓存有帮助;激进的上下文截断有帮助;把用户向"开一个新任务"轻推的 UX 帮助最大。
  • 病态的工具调用扇出。这个用户的任务恰好要 30+ 次工具调用,别人 5 次就完——可能因为它们确实更难,也可能因为智能体在这个用户的数据上陷进了循环。cost-control-in-the-loop 里那条每任务步数上限封顶最坏情况;针对性的提示或工具改动来挪动中位数。
  • 异常的提示尺寸。少数用户粘进来的文档是平均的 5–20 倍。Token 感知的 UI(在他们点击之前就显示挂上一份 200 页 PDF 的成本)加上一条硬性的每提示上限,是两条能配合的修法。
  • 失败模式磁铁。某个租户的数据形态持续触发智能体处理不好的失败路径,把自己重试到账单里去。一般是检索或某个工具健壮性的一个修复,针对这群人群的流量打。
STEP 4

你真正手上的杠杆。

看见形状之后,工具箱里的东西就具体了。其中大多数是按租户或按人群的,不是全局——全局调优会伤到便宜的中位数用户去补贴重尾,方向正好反了:

  • 按租户的速率上限与成本上限——每分钟 token、每任务美元的硬上限,按人群设。一个长尾用户不该只因为他们要,就能消耗中位数用户 100 倍的预算。
  • 按人群的模型级联规则——对任务便宜且同质的租户,用小模型就够了;把贵模型留给真的需要它的租户。
  • 提示缓存友好的 UI 模式——把用户引向缓存能摊掉的会话与提示形态。
  • 硬性上限加优雅降级——租户撞上限时,智能体返回一个带解释的半截答案,而不是一个 500。用户理解,下一个请求仍可用,利润保住。
  • 按人群的定价——用 feature-flags-for-agents 里的一个开关,对成本更高的工作负载形态切到一个更高档的价格。

顺序很关键:先埋点,再优化中位数(这是便宜的大胜场),最后封顶或重新定价尾部(这是贵的窄胜场)。先封顶再埋点会带来一次客服灾难;只埋点不动作会换来一块团队学会忽略的仪表盘。

STEP 5

什么时候放弃一个客户。

这套分析的诚实版本是:在你任何合理的杠杆下,某些客户都没法被有利润地服务,而你必须决定要不要继续服务他们。继续服务一个亏钱客户的正当理由是有的,但很具体——一个销售线索需要的 logo、一处你别处拿不到的学习信号、一段在别处赚回来的战略关系。"我们不忍心拒绝他们"不在这份清单上。

当你刻意去做这道算术时,逻辑很直接:过去一个季度的服务成本、你预期的杠杆抬升(以及它生效的诚实概率)、反事实的终身价值、留住这位客户所需工程师工时的替代用途。如果服务成本超过付价超出了按人群杠杆能弥合的范围,选项是更高档的定价、一个事实上结束这段关系的用量上限,或者一次显式的下线——而不是永远假装平均看着没事。一个负担不起开掉自己最差客户的生意,是一个一直被自己最好客户悄悄补贴的生意;那种补贴会在推理价格变动的第一个月里结束。