评估编码智能体:测试全绿是必要条件,不是充分条件——要评的是评审者愿意合并的那份 diff。
你见过的每一个编码智能体数字,回答的都是“隐藏测试过了没有”。而你真正关心的问题是“我的团队会不会合并这份 diff、多常合并、代价多少”。这是两个不同的问题,二者之间的差距如今已经被量出来了。本手册搭建的就是回答第二个问题的评测:从你自己已合并的 PR 中挖出任务,用容器化的测试编排配上留出的隐藏测试,在测试之上再加一层评分,用重复运行衡量可靠性而非运气,并记录每个任务的成本与耗时——再把它接进 CI,让每一次模型、提示词或工具的变更在上线前都先被打分。
步骤 1为什么公开数字回答不了你的问题。
这一步是讲动机,不是讲基准素养;怎样读懂任意一行排行榜,见读懂基准测试。这里的论点更窄:最知名的编码基准已经被从两个方向审计过,两个方向都没过关。
- 它的构建是认真的。SWE-bench 的评分方式是把智能体的补丁打到真实仓库上,运行该 issue 的 fail-to-pass 测试以及已有的 pass-to-pass 测试。SWE-bench Verified(OpenAI,2024 年 8 月)由 93 名 Python 开发者对 1,699 个随机抽取的 SWE-bench 样本进行筛查,剔除描述不充分的 issue 和不公平的测试,最终保留 500 个。
- 它的测试会放过错误补丁。《SWE-bench 里“已解决”的 issue 真的被正确解决了吗?》(ICSE 2026)把智能体的“看似正确”补丁放到开发者的完整测试套件和差分测试下重跑:29.6% 的补丁行为与标准补丁不同;人工检查显示,这些行为有分歧的补丁中 28.6% 确定是错的;各项缺陷合计让报告的解决率虚高了 6.2 个百分点。UTBoost(2025)通过生成额外测试,找出了 169 个在 Verified 上被错判为通过的补丁,并改变了 24.4% 的排行榜名次。
- 它的测试也会拒掉正确补丁。2026 年 2 月 23 日,OpenAI 停止报告 Verified 分数。工程师审计了 138 道 o3 在 64 次运行中始终没能解出的题目,发现其中至少 59.4% 的测试或题目描述有缺陷,会拒绝功能上正确的提交;同一篇文章还指出了污染问题——前沿模型能凭记忆复现标准修复。它推荐改用 SWE-bench Pro(Scale AI,2025 年 9 月:来自 41 个仓库的 1,865 个任务,其中留出子集和专有商业子集不公开)。Terminal-Bench 2.0(89 个经人工核查的容器化任务,按容器最终状态评分)是另一个更难的后继者。
- 你自己的感觉也不是测量仪器。METR 的随机对照试验(2025 年 7 月)让 16 名资深开源开发者在自己的仓库里处理 246 个真实 issue:允许使用 AI 工具时,他们反而多花了 19% 的时间——而事前他们预计会提速 24%,事后仍相信自己被提速了 20%。METR 在 2026 年 2 月的后续报告中表示,更新的工具很可能帮助更大,但也直言其 2025 年末的数据因选择效应而不可靠。教训不在于结果的正负号,而在于使用工具的人自己分辨不出来。
两个方向的失败出自同一个原因:测试套件只是一份不完整的规格,写它的人并没有在想智能体会交出什么补丁。测试全绿只能说明这个补丁不是显而易见地错。它能否被合并,是另一项测量——而没有人会针对你的仓库发布这个数字。
步骤 2从你自己已合并的 PR 里挖任务。
你的合并历史就是一份免费的、自带标注的数据集:每个已合并的 PR 都是团队认定已完成的任务,附带一份评审者接受过的 diff。在它上面重建 SWE-bench 的配方。
- 选同时改动了源码和测试的 PR。把每份 diff 拆成修复(非测试文件)和测试补丁两部分。检出父提交,只打上测试补丁并运行:在那里失败、在修复后通过的测试,就是你的 fail-to-pass 集合;其余在两种状态下都通过的,就是 pass-to-pass。没有 fail-to-pass 测试的 PR 无法靠执行来评分——只把它留给第 4 步的评分细则通道。
- 提示词取自关联的 issue,而不是 PR。PR 描述会泄露解法(“把
Pool.acquire换成可重入锁”)。使用当初提交时的 issue 或工单原文,并删掉任何点出修法的句子。 - 先分层,再在一百个左右收手。按类型(缺陷修复、新功能、重构、依赖、配置)和标准 diff 的大小分桶,按你真正打算委派出去的工作比例来抽样。配合重复运行,50 到 150 个任务足以看出几个百分点的回退;每周都重跑不起的大任务集,价值不如能重跑得起的小任务集。
- 优先选模型训练截止日期之后合并的 PR。如果你的仓库是公开的,较早的修复可能已经像 Verified 那样被模型记住了。给每个任务记录合并日期,这样就能把截止前与截止后的分数分开报告。
# tasks/pay-1482.yaml — one task mined from a merged PR id: pay-1482 source_pr: "#1482" # merged 2026-08-19, after the model cutoff base_commit: 9f3c2e1 # parent of the merge; fix reverted, tests absent kind: bugfix prompt: issues/1467.md # the issue as filed, solution hints removed hidden_tests: # copied in only after the agent stops fail_to_pass: [tests/test_refunds.py::test_partial_refund_idempotent] pass_to_pass: tests/ # full suite must stay green gold: { files: 2, lines_changed: 31 } budget: { wall_clock_min: 20, usd: 3.00 }
步骤 3搭建测试编排:每个任务一个容器,测试智能体永远看不到。
测试编排就是测量仪器。让它乏味而可复现,因为其中每一个不受控的变量都会表现为噪声,而你事后会把这份噪声算到模型头上。
- 为每个任务固定环境。在
base_commit上构建镜像,预装并缓存依赖,运行期间断网,工具链与 CI 一致。智能体在其中工作,手里的工具与生产环境完全相同——见沙箱与执行。 - 把测试藏起来。智能体工作时,镜像里没有 fail-to-pass 测试。它停下后,编排器提取它的 diff,打到一个全新的容器上,再把隐藏测试拷进去运行。能读到评分测试的智能体,被评的其实是阅读能力。
- 每个任务先双向验证,再去信它。标准修复必须通过,未修复的基础提交必须失败;标准修复跑三遍,以揪出不稳定的测试。验证不过的任务是你评测里的 bug,不是难题——正是 OpenAI 在 Verified 里审计出来的那一类。
- 冻结脚手架。系统提示词、工具集、重试策略、上下文策略和预算,都是被测配置的一部分,要和结果一起做版本管理。一次改两项,比较就失去了意义。
- 保留轨迹。保存每一次工具调用及其输出。分数变动时,原因只藏在轨迹里。
步骤 4在测试之上评分:评审者会合并这份 diff 吗?
这正是公开基准跳过的一步,也是你自建评测的理由。隐藏测试变成门槛;可合并性才是分数。
- 先过硬性否决。diff 修改、跳过或删除了已有测试;为了变绿加了宽泛的
except或一个 sleep;动了超出任务合理范围的文件;或者让 linter、类型检查器报错。无论测试结果如何,每一条都是直接零分——这就是智能体版的“削弱断言”。 - 与标准补丁做差分检查。把你手头所有额外的测试(属性测试、该模块更大范围的测试套件、一轮模糊测试)同时跑在智能体补丁和标准补丁上。与已合并修复行为不一致的,就是第 1 步里那 29.6% 的桶:不一定错,但需要人看一眼。
- diff 大小比。改动行数除以标准补丁的改动行数。远大于 1 通常意味着顺手重构、重复造的辅助函数或防御性杂物,评审者会拒;远小于 1 往往意味着一个只为满足测试而写的特判。
- 三档结论的评分细则。直接合并、修改后合并、拒绝——对照成文的标准打分:遵循仓库约定、复用已有抽象、自带测试、没有无关改动。先让工程师给一个样本打分;只有当 LLM 评判器与他们的一致率经过你实测之后,才切换过去,并持续复核,见评判器校准。代码评审智能体那套精确率优先的纪律在这里同样适用。
# one task, two configurations, three runs each task config hidden_tests hard_fail diff_ratio verdict pay-1482 A pass - 1.1 merge as-is pay-1482 A pass - 0.9 merge as-is pay-1482 A fail - - reject pay-1482 B pass test edited 2.4 reject pay-1482 B pass - 3.8 merge after edits pay-1482 B pass - 1.0 merge as-is # tests-only score: A 2/3, B 3/3 → B looks better # mergeable score: A 2/3, B 1/3 as-is (2/3 incl. edits) → A is better
这张表就是整个论点的缩影。一个学会了“不择手段把测试跑绿”的配置,会在每个排行榜都报告的那个指标上胜过一个写出可评审代码的配置,却在你的团队实际感受到的那个指标上输掉。
步骤 5每个任务跑多遍,报告可靠性,而不是挑最好的一次。
智能体的运行是非确定性的;每个任务只跑一遍,量到的只是一次抽样。每个任务跑 n 遍(三到五遍是实用下限),并报告两个不同的数字,因为它们回答的是不同的问题。
# per task: n runs, c of them mergeable. Average each over tasks. pass_at_k(n, c, k) = 1 - C(n-c, k) / C(n, k) # any of k succeeds: headroom pass_caret_k(n, c, k) = C(c, k) / C(n, k) # all k succeed: reliability # n=5, c=3: pass@1 = 0.60 pass@3 = 1.00 pass^3 = 0.10
- pass@1 是期望成功率,即单次无人值守运行的成功率——后台编码智能体拿到的就是这个。
- pass^k 才是“信任”的真实手感。它由 τ-bench(2024)提出——在那里 gpt-4o 在零售类任务上的成功率不到一半,pass^8 更是低于 25%——它问的是智能体是否每一次都能解出这个任务。一个 pass@1 为 0.6 的任务,你的团队在经历第二个糟糕的星期后就不会再委派它了。
- pass@k 不是部署数字。它假设有某个东西替你挑出成功的那次尝试,而在生产中,这个“东西”是一个读 k 份 diff 的人。
- 在相同任务上做配对比较。报告逐任务的胜负,而不只是两个平均数;在一百个任务上几个点的变动,在重复运行证实之前都当作噪声。留意那些在多次运行之间翻转的任务——下一次回退最先会出现在那里。
步骤 6按每份可合并 diff 计价,然后放进 CI。
一个高出五个点、成本却是三倍的配置,可能是错误的选择;不在同一批运行上把两者都量出来,你无从得知。
- 记录每次运行的 token、美元和耗时,失败的运行也要算。然后用总花费除以可合并 diff 的数量,而不是尝试次数,也不是测试通过数。每份“直接合并”diff 的成本,才是应当摆在工程师时薪旁边的数字——而 METR 的结果说明,这个数字你凭感觉是估不准的。
- 盯住长尾。记录每个任务耗时的中位数和第 90 百分位;一个 p90 运行要四十分钟的配置,即使中位数没问题,也会改变人们使用它的方式。把花在“修改后合并”上的人工分钟数也记下来——那同样是成本。
- 在 CI 里设门禁。对模型、系统提示词、工具定义或脚手架的任何改动都会触发这套评测;PR 上会收到一条评论,列出 pass@1、pass^k、硬性否决率、每份可合并 diff 的成本以及 p90 耗时相对当前基线的变化,一旦回退超过事先设定的阈值就阻止合并。具体机制见评测驱动开发与 CI。
- 刷新任务集,淘汰旧任务。每个月从新合并的 PR 里挖新任务,把所有配置每次都能解出的任务撤掉,并始终保留一个截止日期之后的切片,让污染没法通过你自己的公开历史悄悄回流。
排行榜告诉你的是:哪套测试编排,在可能已被记住的代码上,通过了别人写的不完整测试;你自己的评测告诉你的是:智能体多常交出一份你的评审者愿意合并的 diff、有多可靠、每份花多少钱。去建第二种——用你已合并的 PR、用智能体永远看不到的测试、再在上面加一道评审者的结论——它是唯一能预测周一会发生什么的编码智能体数字。