证明一个测试不稳定很便宜,证明它已经修好很贵。围着这份不对称去造智能体,否则它会悄悄删掉你的测试套件。
一个能隔离测试、却从不需要为任何一次发布作答的智能体,会把你的套件缩成「永远能过的那些测试」,而一路往下滑的过程中每次构建都是绿的。这份不对称就是全部设计:在未改动的提交上重跑一次通过,就直接证明了抖动;而要证明一个测试不再抖动,在 5% 的抖动率下需要 59 次干净的重跑——所以「进隔离区」可以自动化,「出隔离区」永远只能是一个写着名字的截止日期。
步骤 1先把算术做完再设计这个循环,因为它决定了智能体可以问哪些问题。
一个独立地以 5% 概率失败的测试,重跑一次有 95% 的概率通过。重跑 n 次什么都没看见,那么「本来就看不见」的概率是 0.95^n。要把它压到 5% 以下——这是任何人愿意接受的最弱置信度——需要连续通过 59 次。抖动率 1% 时要 299 次。这些数字正是「就一直重跑到搞清楚为止」不是一个可选策略的原因:智能体光确认一个测试的健康状况,就会比跑完整个套件烧掉更多算力。
现在反过来跑一遍。一个在同一个提交上、中间没有任何代码改动的情况下先失败、后通过的测试,按定义就是抖动的——套件刚刚自我矛盾了一次,而一次观测就把事情定下来了。抖动可以廉价地被证明,健康不行,而智能体里每一个路由决定都从这里推出来:
- 「这次失败是抖动吗?」——可答,而且很便宜,一次重跑加上历史就够。让智能体来判断并据此行动。
- 「这个测试又健康了吗?」——在你愿意付的任何价位上都不可答。永远不要让智能体来判断这个。退出隔离区是一个日期加一个责任人,不是一个证据阈值。
- 「这是一次真实回归吗?」——只在否定方向上可答。智能体能证明某次失败是抖动,它不能证明某次失败不是;所以对一次未定论的失败,默认必须停留在「阻塞」。
常见的做法把这件事做反了。团队给智能体一个置信分和一个阈值,而那个阈值就悄悄替你回答了那个不可答的问题——「80% 确信它是抖动」变成了一次解除隔离,而那 20% 是一次正在绿色看板上发布的回归。同一个错误在评测框架里的版本见 评测方差与统计功效。
步骤 2喂给它挂在测试身份上的历史,而不是挂在测试名字上的。
智能体全部的诊断能力都在往次运行的记录里,这意味着这份记录必须活过那些会发生在测试身上的事。一次改名、一次跨文件移动,或者一个参数化用例的 id 里带了时间戳,都会把按名字挂的历史打断,于是智能体看到的是一个全新的测试、只有一次失败,压根没有任何下判断的依据。请挂在稳定的东西上——测试完全限定路径加上它的参数集的哈希,带在报告里——并且按每次运行存下:提交、结果、耗时、worker 或分片,以及失败的第一帧栈。
# The four queries that do all the work. Everything else is decoration. same_commit_disagreement # failed and passed at the same SHA -> flake, proven first_seen_failing_sha # bisect target if it has never passed since shard_skew # fails only on worker 3 -> shared port/fixture, not the test duration_p99_vs_timeout # 'flake' that is a timeout you set 200ms above p99
最后那条查询在实践中抓住的是被误分类得最多的一类。一个 p99 耗时刚好卡在超时线下方的测试不是抖动,它是在正确地报告「它调用的那个东西变慢了」,而一个把它隔离掉的智能体等于压下了一次性能回归。请让智能体在被允许使用「抖动」这个词之前,先去看耗时分布——这个信号本该去哪里,见 性能优化智能体。
步骤 3把隔离做成一个带有效期、受治理的动作,而不是一个标签。
隔离是智能体唯一真正的权力,而它是一次对你风险姿态的写入,所以它该享受任何其他特权动作同等的待遇:一份记录、一个指定责任人、一个影响范围,以及一个不管有没有人干活都会到点触发的截止日期。有效期是那个承重字段。没有它,这个群体只会增长,因为系统里没有任何一方有动力把测试再捞出来。
# quarantine/checkout_total_rounding.yml — written by the agent, owned by a human test: tests/billing/test_checkout.py::test_total_rounding[eu] identity: 9f2c4b # stable hash, survives renames proven_by: same-commit-disagreement at 4e81aa0 first_seen: 2026-11-14 owner: billing-platform # a team that can be paged, never 'unassigned' expires: 2026-11-28 # 14 days. On expiry the test un-quarantines and blocks. scope: pr-gate # pr-gate | nightly | never-release-gate still_runs: true # reported, just not blocking. NEVER skip the test. suspected: shared-fixture # agent's hypothesis, not a verdict
有两个字段值得争一争。still_runs: true 没有商量余地:被隔离的测试必须继续执行、继续上报,否则你就失去了唯一有可能让这次隔离退场的数据,并且把一个「已知不可靠的信号」变成了「没有信号」。而 scope 的存在是因为发布闸门和合并请求闸门是两个不同的问题——智能体有理由不让一次抖动卡住某个开发者的合并,但它绝不该成为决定一次发布能否上线的那个东西。闸门本身怎么接,见 面向智能体改动的合并队列。
步骤 4把四类真实的修法交给它,并禁掉那个真的有效的。
大多数抖动出自为数不多的几种机械成因,而一个带着仓库上下文的智能体在这几类上确实很强,因为每一类都在 diff 或失败里留下可识别的签名。把智能体限定在这些之内,并要求修前修后都给出复现:
- 顺序依赖——单独跑能过,跟在某个同级测试后面就挂。签名:状态留在了模块级或类级 fixture 里。修法是隔离,而且可以靠「两种顺序各跑一遍」来验证。
- 共享资源冲突——只在并行下、或只在某一个分片上挂。签名:硬编码的端口、路径、表名或临时目录。修法是让它由 worker id 推导出来。
- 时钟与时区——在午夜、在每月 1 号、或在某一个 CI 区域挂。签名:断言路径上有一个真实的
now()。修法是把时钟注入进去。 - 无条件等待——用一个
sleep顶替一个条件。签名:高负载下出现带时序形状的失败。修法是带超时地轮询那个条件,这和「睡久一点」是两件不同的事。
然后是禁令。智能体绝不可以加重试包装、拉长 sleep、放松断言或把测试标成跳过——理由不是洁癖,而是「失败后重试」恰恰是上述所有修法里最有效的那个,而正是那笔算术让它成了陷阱。在 5% 的抖动率下,对一次失败最多重试三次,会把上报的失败率从二十分之一压到大约八千分之一,而只多花约 5% 的运行时间,因为额外那几次运行只发生在失败的那 5% 上。它便宜、有效,并且在看板上与「真的把测试修好了」无法区分。它掩盖一次真实的、5% 概率发生的回归也一样彻底。智能体被允许做的修复,必须改变测试的行为,而不是改变它的上报。
如果你的 CI 已经在全局重试失败,那智能体压根没有信号可用——same_commit_disagreement 正在 runner 内部被消耗掉、丢弃掉,任何东西都没来得及记下它。在造这一整套之前,先把那次重试改成一次被记录的重跑、把两次结果都上报出来。单这一个改动,往往就比那个智能体值钱。
步骤 5量那个群体,不要量智能体的结案率。
结案率奖励的恰恰是你想阻止的那个行为,因为隔离就是一次结案。有四个数字能告诉你这东西是在降低风险还是在洗白风险,而这四个都是套件的属性、不是智能体的属性:
- 隔离区人口随时间的变化——必须持平或下降。单调上升意味着有效期没在触发、或者正在被默认续期,而这两者是同一个失效。
- 隔离时长中位数——是否真有人在做那些修复,这是最诚实的度量。如果它超过了你的有效期窗口,说明你的到期正在被橡皮图章盖过去。
- 逃逸率——那些穿过「当时正被隔离的测试」抵达主干的缺陷。这是智能体存在的意义所在、要把它压在零,也是唯一能给「关掉它」提供正当理由的那个数。
- 每证实一次抖动所用的重跑次数——这就是你为那次诊断实付的算力账单。如果它飘到个位数以上,说明智能体在重跑、而不是在读历史,而 STEP 1 那笔算术即将以账单形式抵达。
把这四个报在与套件通过率同一个界面上,因为上面每一种失效模式都会让单看通过率变好。这个陷阱的一般形态见 质量回归检测。
步骤 6三种情形下,这个智能体是错误的工具。
你的抖动是集中的。如果二十个测试占掉了大部分噪声,一位工程师一周的时间就能永久性地消掉这个问题,而一个智能体会把它制度化。先去数:一次帕累托检查花一个下午,并且经常直接把这个项目否掉。
抖动在环境里、不在测试里。一个共享的预发数据库、一个被限流的第三方沙箱、或者一台 CPU 超额分配的 CI runner,产出的抖动会均匀散布在互不相关的测试上。智能体会隔离掉几十个无辜的测试,而永远碰不到成因。shard_skew 和跨测试相关性这两项检查的存在,正是为了识别出这种情况并把它交给基础设施——见 CI 修复智能体。
你没法把测试捞出隔离区。如果没有团队对这个套件负责,就不会有任何东西被捞出来,而有效期会被值班的人永远续下去。一个只能往清单里加东西的智能体,是一台延迟 14 天的「套件删除机」。