运维 / 智能体运维：部署与运营
智能体运维：部署与运营
在生产中运行智能体：灰度、版本化、扩缩、幂等重试、成本控制与事故响应。
- 持久状态与可恢复性把智能体循环做成一次持久计算——事件溯源式历史、先写日志再产生副作用、以重放而非重新推导来恢复，使崩溃或重新部署绝不重启一个做了一半的任务。
- 并发、队列与扩缩容智能体是批处理作业而非请求：带租约 worker 的队列、按租户并发上限、以日志为状态实现横向扩缩、以及有界扇出，才是能扛住生产负载的形态。
- 幂等、重试与副作用安全四个叠加的重试源意味着每个写工具都会触发两次——除非你用源自意图的幂等键、失败分类与持久副作用账本构造出恰好一次。
- 在循环层面控制成本智能体成本默认无界；把按任务的 token/步数/美元上限当作 fail-closed 熔断器，再对着质量指标调模型级联、提示与工具缓存、以及提前退出。
- 灰度发布、版本化与固定行为是（模型、提示、工具）三元组；固定到带日期的快照、在每次运行上打戳，并只经影子/灰度加评估闸门提升新版本，配以即时配置切换回滚。
- 面向智能体的特性开关面向 prompt、模型、工具与策略的开关——该把什么放进开关、如何放量，以及为何"默认关"对智能体开关是没得商量的。
- 急停开关一个能停下整支正在运行的智能体队伍的按钮——它真正要拦下的东西（飞行中调用、排队任务、计划重试），以及如何在你真用上它之前就把它演练好。
- 事故响应与失控遏制失控的智能体 fail-open 且持续行动；从速率与进展检测、用恢复路径也遵守的循环内 fail-closed 熔断遏制、依赖预装的爆炸半径界限，并把每桩事故变成回归测试。
- 速率限制与厂商容量429 是一份容量合同而非瞬时故障，重试它会把缺口变成宕机；智能体的每分钟令牌消耗是平方级的，所以修法是一个共享的准入控制令牌桶、有意识的负载卸载，以及把跨厂商故障转移当作评估必须覆盖的行为变更。
- 模型退役与迁移模型 ID 是一个带保质期、且无法 vendor 的依赖：通知下限低至 60 天甚至更短、为何切换是一次重新资格认证而非字符串替换、平台静默自动升级才是最糟的失败模式，以及把一次退役变成一天工作量的自动生成清单与常热候选通道。
- 为智能体自建推理离开厂商 API，计价单位就从 token 变成 KV 缓存字节：容量是并发序列数乘上下文长度、前缀缓存命中率是路由问题而非引擎问题、自动扩缩在智能体的时间尺度上不管用，而盈亏平衡点是一个利用率数字。
- 智能体的多租户智能体新添了五个你的行级策略从未触及的存储——提示词缓存、语义缓存、向量索引、记忆与限流额度池——而其中只有语义缓存会把一个租户的答案交给另一个租户。
- 智能体的 SLO 与错误预算正确性在 SLI 必须通过的每一项测试上都不及格，所以对你能确定性计算的机械指标做预算、跑一份以"已采取动作数"而非"已服务请求数"为分母的第二份危害预算，并把裁判打分的质量降格到一张永不传呼的控制图上。
- 优雅降级与备用方案备用方案是另一个智能体——不同的工具方言、上下文上限与拒答画像——它让最大的一股流量走上测试最少的路径，头顶还是照着一个已停止作答的模型校准的阈值：先决定卸掉什么再决定换成什么、对有副作用的操作失败闭合，并把降级做成一个有出口的具名状态。
- 退出一个托管智能体运行时维护模式承诺既有负载继续运行，而这恰恰是让团队一等再等的原因——真正的期限是被冻结的模型目录不再提供你需要的某个模型的那一天；与此同时，人人以为最难的那个循环一个迭代周期就搬完了，而没人清点过的对话状态才是那次迁移：第一天就把导出验证掉、开双写，然后在一个已停止增长的积压面前去搬代码。
- 第三方工具漂移工具描述是你 prompt 的一部分，而那段文字归别人所有，于是行为会在没有提交、也没有报错的情况下改变——吵闹的结构性破坏反倒是无害的那一类，而一句改写过的文档串会悄悄挪动工具选择率：给目录做快照、把它的哈希打在每条 trace 上，并在门面层而不是 prompt 里吸收这次变化。
- 定时与事件触发的智能体没有用户在场时，"问"变成"弃权"，"重试"变成"对账"，默认的失效是沉默而不是报错——所以给每条排程装上守尸开关、让每次触发以"动了/无事/卡住"的判定收尾，并独立于智能体自身判断给通知频道限流。
- 给智能体系统做压测第一个决定是拿副作用怎么办，而每一个答案都会改变测量本身——mock 掉的工具抹去了主导一条轨迹的那几秒真实延迟。用利特尔法则定规模、用采样出的真实任务而不是一条重复的提示来造负载、在负载下给质量打分（因为退化是无声的），并报出成功率开始下滑处的并发数，以及第一个返回 429 的依赖是谁。