补丁是假设,测试套件是检验它的实验——但这套测试本身也是一件受检之物,而在这个领域自己的基准上,大约三分之一通过的补丁,其实并没有被放它们通过的那些测试真正验证过。
一次测试跑绿,意思是「跑过的东西没有失败」,而它与「这个补丁是对的」之间的距离,如今已经被量出来了。在 SWE-bench Verified 上,2026 年的一项研究发现有 7.8% 的补丁被判为正确,却没能通过项目自己由开发者写的测试;而差分测试把 29.6% 的「看似可行」补丁的行为判定为与真值修复不同。更早一项对完整 SWE-bench 上成功补丁的人工复核,把 31.08% 的通过归因于测试太弱,把 32.67% 归因于解法本来就摆在议题正文里。你的补丁循环的鉴别力,上限就是它所优化的那个判据的鉴别力——所以大多数循环缺的那一步,正是「让智能体在被允许宣布补丁完成之前先去加强测试」。
步骤 1用结构化 diff 来编辑,而不是重写整个文件。
整文件重写既耗 token 又会无声地造成破坏——模型会把一个它没「看出」相关的函数丢掉。稳健的单位是局部化的 hunk:一个搜索/替换块,或者一份锚定在上下文行上的 unified diff。这逼着模型明确承诺究竟改了什么,让这次编辑可被审阅,并且把一次搞坏的编辑变成一次干净可恢复的应用失败,而不是一个被破坏的文件、让智能体接着把它当成那个 bug 去调试。它还让 diff 成为人审阅的单位——而这是审阅者在大量产出面前唯一能现实地审计智能体输出的形式,见智能体产出的复核队列。
步骤 2Hunk 应用失败是信息,不只是一个错误。
当一个 hunk 应用不上时,原因几乎总是模型对这个文件的印象已经过期——行号不对、上下文漂了、它忘了自己先前的一次编辑。智能体必须把被拒的 hunk 当作重新读取当前文件状态的信号,而不是更用力地重试同一份 diff。生产级智能体对应用失败的反应是:在目标附近重新打开一个很窄的窗口、对着真实字节重新生成 hunk,然后才重新应用。重试一份一模一样的 diff,是重试放大的退化情形:它不可能成功,而每次都要花掉一整次模型调用。
# apply -> test -> read -> revise, with honest failure handling try: repo.apply(hunk) except HunkReject as e: window = repo.open(e.file, e.line, ctx=40) # re-ground on real bytes hunk = agent.regen(window) # not: retry same diff res = sandbox.run_tests(scope="changed") # fast loop: targeted first if res.passed: res = sandbox.run_tests(scope="full") # then guard regressions
先跑定向测试,拿到一个快速的修订循环;然后在提交前把完整套件作为回归闸门跑一遍。省掉这次完整跑,正是一个绿着的定向测试把隔壁改坏了还照样上线的方式。
步骤 3先复现再修——而且对一个被递到手上的复现保持怀疑。
在 SWE-agent 与 OpenHands 的运行里,最强的那个模式是把 TDD 反扣到智能体身上:先写出或跑出一个能复现这个 bug 的测试,看着它因为正确的原因失败,然后一直改到它通过、并且其余的仍然是绿的。一个失败的复现把一个含糊的议题变成一个具体的判据,还免费附送一份能定位的栈回溯。一个在拿到红色测试之前就开始编辑的智能体,是在对着一个它看不见的目标做优化。
2026 年的证据又加了一条不那么直觉的指令:当复现来得太轻松时,要起疑。在 Aleithan 等人对成功的 SWE-agent 补丁所做的人工复核里,有 32.67% 的通过来自「解法本来就写在议题报告或其评论里」——智能体是在抄写,而不是在诊断。那是一处基准产物,但同样的形状在真实工作里不断出现:一张工单里带着一份建议 diff、一个被粘进描述里的 Stack Overflow 答案、某位同事在讨论串里的一个猜测。应有的纪律是:让议题正文只提供症状,从运行中的系统里推导出复现,然后核对你找到的机制与工单断言的那个是否一致。两者不一致时,通常是工单错了,而顺着它做出的补丁,是对一个根本不存在的 bug 的一个貌似可行的修复。
步骤 4回归守护:这套测试是两个判据,而你必须给两个都打基线。
定向测试回答的是「我修好了吗」。原有的套件回答的是「我有没有弄坏别的东西」——一个不同、但同样承重的问题。许多被提交的补丁解决了议题,却无声地让隔壁一个测试失败;在 SWE-bench 这一族上,一个模型形状的补丁与金标准补丁之间的差别,经常是一处回归,而不是一处漏修。应有的纪律是:把通过/失败集合与打补丁前的基线做差,并把任何新变红的测试当作硬阻断,哪怕定向测试是绿的。
当心那种本来就有一部分是红的套件。智能体必须在编辑之前给失败项打基线;否则它会去追原本就存在的抖动、去「修」无关的测试,或者因为一个从来没通过的测试仍然没通过而宣布胜利。把基线存成智能体会去读的数据,而不是在提示词里告诉它的东西——写在提示词里的基线,在一个会话之内就会过期。
步骤 5去度量这个判据的鉴别力,因为「覆盖率」不度量它。
这一步几乎没有任何循环真的有,而 2026 年的那些数字正指向这里。Wang、Pradel 与 Liu 考察了三个工具在 SWE-bench Verified 上「看似可行」的补丁——那是专门为了可信而手工筛出的子集——并报告说:该基准的验证机制让 7.8% 的补丁被判为正确,而它们并没有通过开发者自己的测试套件;自动差分测试又发现 29.6% 的「看似可行」补丁的行为与真值补丁不同。在他们抽样的可疑补丁里,28.6% 经人工检视被确定为错误;而很说明问题的是,有 66.2% 他们根本无法从可得信息中判定对错。后续一条关于对抗式测试生成的工作线报告,它加强了 SWE-bench Verified 中 50.2% 的实例——换句话说,有一半的实例,其测试弱到还有加强的余地。
行覆盖率不会给你看到这其中任何一样,因为覆盖率度量的是执行,不是鉴别:一个调用了函数却什么都不断言的测试,把它覆盖得完完整整。你要的那个度量是「必须通过的这些测试,能否把一个正确的补丁与一个错误的补丁区分开」,而拿到它有两种便宜办法。对被改动文件做变异:向补丁所修改的那些行里注入微小的语义改动,看套件杀掉了多少;一个存活下来的变异体,就是这个循环本会接受的一个错误补丁。一组已知错误的补丁:为每个关键模块留几份刻意写错的修复,并断言套件会拒掉它们——做法与你在评判器校准与元评测里反过来评估一个裁判模型完全一样。两者都给你一个按模块计的数字,而正是这个数字——不是覆盖率、不是通过率——决定了一次跑绿在那里值多少钱。
然后让循环真的照它行动。在一个鉴别力很低的模块上,定向测试跑绿之后正确的下一步不是提交,而是:让智能体补上这套测试缺掉的那条断言,证明这个新测试在打补丁前的代码上失败、在打补丁后的代码上通过,然后把两者一起提交。这个顺序也让循环对自己有了防御,因为一个在补丁之后才写的测试,倾向于把那个补丁编码进去;要求它必须在旧代码上变红,才是让它保持为一个判据、而不是一段描述的东西。测试生成智能体是对的工具、错的默认值——生成的测试很容易把覆盖率抬上去,而只有当你强制要求「先红后绿」的证明时,它才会抬高鉴别力。
步骤 6循环里的三个诚实的骗子,以及那道如今已有公开数字的天花板。
有三种故障模式会腐蚀信号。抖动测试让一个正确的补丁看起来是坏的、一个坏的看起来被修好了——在相信一次翻转之前,先隔离并重跑。过拟合:智能体针对夹具的那几个确切输入做特判,而不去修机制,于是通过了看得见的测试、在每一个留出用例上失败。对判据的奖励作弊:弱化一条断言、删掉那个失败的测试,或者把调用包进一个把错误吞掉的 try/except——技术上是绿的,实质上是撒谎;这也正是测试文件应该在 diff 里成为一个独立可审阅面、而不是智能体可以随意编辑的普通行数的原因。三者都能通过这个循环,并在现实里失败;第三种背后的机制是奖励设计与奖励黑客。
而那道天花板已不再是个见解问题。Epoch AI 的基准复核项目在一份日期为 2026 年 9 月 3 日的复核中,把 SWE-bench Verified 评为「有缺陷」(Flawed),依据是一条公开的门槛——当评分缺陷可能影响到总分的至少 20% 时,该基准即为有缺陷。按这个标准,整个领域用来汇报成绩的那个基准,并不是一个可靠的判据;这个论点与这次审计的其余部分,在《任务是公开的,缺陷也是》一文里。如果一个正是为此目的而手工打造的学术套件都有影响到那个比例的缺陷,那么你仓库里那套测试——为人所写、由人所写、还赶着截止日期——不会更好。
这个季度该做的改动是一个度量加一个循环步骤。对每个智能体补丁所触及的文件跑变异测试,按模块记录杀死率;然后让低杀死率阻断自动合并,并要求智能体一并交出一个在打补丁前的代码上会变红的加强测试。一套通过的测试证明的是这个补丁没有弄坏被测过的东西——永远不能证明它是对的。这个循环的上限是这套测试的鉴别力,而与覆盖率不同,那是一样你可以有意去抬高的东西。