运维 / 经济性与投资回报
经济性与投资回报
智能体的单位经济性——定价、成本归因、ROI 度量、自建对外购、失败模式。
- 自建 vs 采购 vs 编排不是成本比较,而是哪一层是你持久护城河的问题:三分支决策树、每条路略去的隐性成本,以及你今天定价、以后才付的锁定。
- 智能体单位经济学每 token 成本是错误的单位;每个成功任务的成本才对,成功率在分母上——那里一点可靠性提升对毛利的撬动最猛。
- 按客户的单位经济模型整盘的单位经济模型会把哪些客户亏钱遮起来——按租户的成本视图、什么造就长尾用户,以及你手上真正能用的杠杆。
- 成本归因与预算厂商账单的粒度无法据以行动:按功能、租户、用户、版本给花费打标签,让它穿过扇出传播,并把预算做成运行时熔断器,而非报表。
- 衡量智能体投资回报相对站得住脚的反事实、扣除仍在循环里的人、放在累计价值实现曲线上的价值——以及为何"智能体替代一个人"是范畴错误。
- 智能体产品的定价与打包席位、用量、结果定价各在某处错位;让价格与交付价值对齐但守住下限,因为越自主你持有的可变成本风险越大。
- 经济性在何处崩溃单位经济学不会渐渐侵蚀——它在重试风暴、长尾、上报、评估账单与无声失败税处反转;盯着失败面,而非平均。
- 预置吞吐量与容量承诺打七折意味着要在 70% 的持续利用率上才打平,而突发式的智能体流量从来到不了那里——所以预留容量是一份你能摆到客户面前的延迟保证,而不是一笔节省;而一份期限承诺会在一个按季度移动的市场里悄悄冻住你的模型选择。
- 评测的成本评测开销随变更速率而非流量增长,而它的价格由你坚持要抓到的最小回归决定——这个价格按平方增长:两个百分点的阈值大约要买 7,700 次运行,五个百分点只要 1,400 次。
- 人工复核的成本复核者的成本是 token 的十到五十倍,而且这是唯一一条不会因为智能体变好而缩小的开销——因为复核者连正确的输出也得读;唯一能消掉它的,是经过校准的选择性复核。
- 收缩一次智能体部署上个季度,接近半数的企业负责人因成本砍了智能体部署,而"收缩、收窄、推迟或暂停"是同一件钝器的四个名字——在同一个部署内部,一条工作流能把人工基线甩开 55 倍,另一条却每跑一次都在亏,所以要切的是任务类;在给这个类定罪之前先把长尾切出去,并把恢复条件写成一个数字。
- 免费额度与试用经济学SaaS 的免费额度由人类的无聊封顶;智能体的免费额度没有封顶,因为用户是一个循环、而边际成本是真的——所以按单个账号能消耗的上限而非平均值来定价,计量工作量而不是天数或席位,并在请求时刻而不是月度复盘里强制那道天花板。
- 预测智能体开销智能体的每任务成本是重尾的,于是均值什么也预测不了且系统性偏低——规模越大越糟,因为用量越大抽到的长尾越多。要预测一个跨任务类的求和、各类带上自己的 p95,给每一类封顶好让长尾有一个有限的数,用重试率、上下文膨胀、路由组合与缓存命中率来驱动它,并每个月把误差对账为用量、组合与每任务漂移。
- 价格通缩与每任务成本前沿模型的输入令牌大约只要 GPT-4 在 2023 年价格的六分之一,一个够用的便宜模型更只要三百分之一,可几乎没人的智能体因此便宜了六倍——因为智能体式工作流烧掉的令牌是一次对话补全的 5–30 倍。通缩落在了一个你并不购买的单位上——于是抠令牌成了一份会折旧的资产,期限承诺成了一次逆着三年趋势的方向性下注,而每成功任务成本是唯一值得摆上仪表盘的那条线。
- 出错的代价令牌账单你能读到小数点后四位,错误账单却从没人算过,而在多数部署里后者要大出一到两个数量级——所以把它定价成错误率、漏网率、单次补救成本与放大系数的乘积,单位成本从你已经经历过的事故里取,并留意检测时延是一个你可以花钱压下去的乘数。得出的那个数字,正是逐动作定自主等级的依据,也终于诚实地给一名复核者标出了价钱。
- 固定成本与试点税智能体的经济性被建模成纯可变成本,于是试点把一笔大头是常备账单的总额——索引、评估套件、追踪留存、容量下限、复核排班、值班——除以一个很小的任务数,报出一个完全说明不了这个智能体的数字。把六条固定成本线点出名字,注意它们是阶梯式跳动的、由审计与厂商下线而非流量触发,并拿盈亏平衡量去汇报,而不是每任务成本。
- 给延迟定价在一个阻塞着时薪 60 美元员工的任务上,40 秒的 p50 要花 0.67 美元,而令牌账单是四分钱——于是那个跑得慢一倍的「更便宜的模型」,是一次披着折扣外衣的十六倍成本上涨。这笔成本是凸的——一秒以内近乎免费,到十秒为止是线性的,在那之后人切换到别处去时是一级台阶——所以拿 p95 做预算,花钱之前先把每个部署归进四种情形之一,并留意:根本不削减任何延迟的流式输出,往往是这份清单上最大的一笔美元收益。
- 碎片化的时间节省四十个人每天各省二十分钟,在电子表格上是十三个全职当量,在任何人管得着的预算里是零美元——因为五分之一个人不是一条你能砍掉的费用项。被释放出来的产能只有在解除了那个真正卡住产出的约束时才会变成钱,而那恰好只有四种可审计的形态:被吸收的增长、挂着价码的周期时间、省下的外部支出、一个有编号的推迟招聘。与此同时成本那一侧同样是碎片化的,却只有一侧上了仪表——所以把「工时 × 时薪」那一行删掉,看看还剩下什么。