截至 2026 年 9 月中旬，Epoch AI 复核过的十五个被广泛引用的基准里，有九个被评为「有缺陷」；而真正该改变你行为的那个发现不是这个数字——而是：得出它根本不需要去揭开任何东西。那些基准把自己的任务、验证器与参考解法都公开发布了，所以这些缺陷是靠阅读那些任何引用分数的人都能免费读到的材料找出来的。原来「透明」并不等于「有效」，而这个领域一直把两者当成同一回事。
一览
Epoch AI 的基准复核项目，用一套公开的评判标准去衡量这个行业真正在引用的那些基准，并给出三种裁定之一。这个登记表还在增长，所以请去读它，而不要引用这张表——下面这些是 2026 年 9 月中旬被最广泛报道的计数。
| 裁定 | 数量 | 被点名的例子 | 含义 |
|---|---|---|---|
| 有缺陷（Flawed） | 9 | SWE-bench Verified、Terminal-Bench 4.0.0、Humanity's Last Exam | 评分缺陷可能影响到总分的至少 20% |
| 已核验（Verified） | 4 | ExploitBench v0.1、SimpleQA Verified、PostTrainBench v1.1、WeirdML v2 | 通过了评判标准里的每一项 |
| 信息不足 | 2 | — | 披露太少，无法向任何一边判定 |
「有缺陷」到底断言了什么
这个裁定比这个词听起来更窄、也更有用，而且门槛是公开的：当评分缺陷可能影响到总分的至少 20% 时，一个基准即被评为有缺陷。对于一套等权重、全有或全无的任务集，这就化简成一个计数——至少五分之一的任务带有缺陷。评判标准里任何一项不过关，就会得出这个裁定。
请注意它说了什么、没说什么。它没有说这些模型比报告出来的更差，也没有说排名是反的，更没有说这个基准一无用处。它说的是：这次测量带有一个来自评分装置本身的误差项，而这个误差项大到足以与人们从排行榜上读出来的那些差距相比。这是一个关于分辨率的论断，不是关于方向的论断。一个基准可以既「有缺陷」，又仍然是它那个领域里最好用的仪器；它做不到的是，支撑起两个模型名字之间两个百分点的区别。
Terminal-Bench 4.0.0：66 个里的 30 个
最清楚的那个案例，是这个领域在 2026 年期间转向的那个编码智能体基准。Terminal-Bench 4.0.0 是一次维护性发布：相对 3.0，它移除了 8 个任务、更新了 20 个，并重新校准了每个任务的资源限额，留下 66 个任务。被移除的是那些已饱和的——前沿智能体大多已经解掉、因而再也区分不出任何人的任务。单看这件事，这恰恰是正确的维护，也正是这个版本存在的理由。
Epoch 日期为 2026 年 9 月 4 日的复核报告说，这 66 个任务里有 30 个存在已被公开指出的评分缺陷——约 45.5%，是「有缺陷」门槛的两倍多。该复核同时记录道：任务、验证器、参考解法与资源设置全部已披露。这两件事属于同一句话：这个基准既「有缺陷」又完全透明，而它之所以被判有缺陷，正因为它透明到任何人都能去查。
SWE-bench Verified 在一份日期为 2026 年 9 月 3 日的复核里得到了同样的裁定，而这件事值得多坐一会儿。那个基准名字里的「Verified」，指的是人工筛查每个议题是否可解、是否被充分说明——这是一道真实且有价值的策管步骤。它从来不是在声称「随每个实例附带的测试，强到足以把一个正确的补丁与一个貌似可行但错误的补丁区分开来」，而关于这个问题，已发表的研究说它们经常不够强。我们在补丁生成与测试驱动循环里过了一遍那些数字：在 SWE-bench Verified 上，7.8% 的补丁被判为正确、却没能通过开发者自己的测试套件，而差分测试把 29.6% 的「看似可行」补丁判为行为与真值修复不同。
披露的悖论
下面这一段应该让人不舒服。恰恰是那些什么都披露的基准，才可能被评为「有缺陷」。而披露得足够少的基准会拿到「信息不足」——一个读起来更温和、实际上严格更糟的裁定，因为它意味着这台仪器根本无法被检查。这制造出的激励显而易见，而且是坏的；对抗它的唯一防线，是读者明白这两者当中哪一个才是真正的警告。
它也重新定义了「谁失职了」。Epoch 并没有做一次昂贵的调查去挖出某件被藏起来的东西；它读的是一直都挂在互联网上的任务与验证器，而且找到的是别人早已公开指出过的缺陷。要给过去一年里每一份模型发布公告中的数字加上误差条，所需的信息是免费且可得的。它没有被用上，因为读一个基准是缓慢、无人奖赏的工作，而引用它的数字只需要一句话。同样的不对称贯穿整条评测文献——Epoch 在 2026 年 6 月修正了自家 FrontierMath 中 42% 的题目之后重新发布了它；而它对 GPQA Diamond 的分析论证说，该基准至少 90% 是有效的——这之所以是个正面结论，恰恰因为有人肯去把它确立下来。
有用的推广结论不是「基准都坏了」。而是：一个基准是一件自己没有测试套件的软件，由一群经费远少于引用它的那些实验室的人维护；而这个领域一直在授予它一种没人替它挣来的权威。这正是评测完整性与打分器博弈与基准污染与泄漏从另外两个方向逼近的那个结构性论点。
你引用的那个数字有两条互不相干的出错路径
把这个发现与同一季的方差工作叠在一起，图景比其中任何一个单独看都更糟。斯坦福与 UIUC 对 22 个智能体基准做的一次分解发现：给一个固定的「模型加外壳」配对排名是可靠的，而从同一批 rollout 去给底层模型排名往往不可靠——那正是《排行榜排的是那一对，不是那个模型》的论点。那是一个关于图里第三个方框的论断：关于那次运行。
Epoch 的裁定则是一个关于第二个方框的论断：关于任务集。这两个误差来源互不相干，而它们各自惯用的补救手段也碰不到对方。多跑一些样本能收窄方差，对一个有缺陷的验证器毫无作用；审计任务能修好验证器，却把外壳这个混杂因素留在原处。一个不带这两项限定条件就被引用的数字，身上扛着两个没被说出来的误差项——而前沿系统之间被报道出来的那些领先幅度，通常比其中任何一项都小。
拿到一个「有缺陷」基准上的分数该怎么办
不是把它扔掉。实际的调整是三个习惯，而且没有一个需要你去跑任何东西。
把裁定与分数一起引用。「Terminal-Bench 4.0.0 上 68%（Epoch：有缺陷，66 个任务中 30 个有缺陷）」才是诚实的写法，而且几乎没长多少。在内部，把这个基准登记表做成「记录一次模型决策」的那份文档里的一个字段，就放在那个数字旁边——与记录一个库的版本号是同一种纪律。
把缺陷占比当作分辨率的下界。如果评分缺陷可能挪动总分的 20%，那么比这更小的差别就不是测量。实际操作上，这会让这些套件上大多数已发表的「模型对模型」比较退场，只留下那些大的差距——而那些本来也是唯一值得你据以行动的。
把版本钉住，在引用里也在你自己的流水线里。Terminal-Bench 从 2.1 到 3.0 再到 4.0.0，每一步都有任务被移除、资源限额被重新校准；一个分数离开版本就没有意义，而跨版本的时间序列不是时间序列。这与一个没锁版本的依赖是同一种故障模式，解法也一样。
而那个一直没变的、更耐久的做法是：一个用你自己流量搭起来的小评测集，在你的决策上胜过一切公开数字，因为它是唯一在测量你那个分布的东西。公开套件是用来让你在这个领域里定位自己的；批判地阅读基准与维护一套评测集才是那些真正能支撑一次部署的工作发生的地方。
常见问题
「有缺陷」的裁定是不是意味着这个基准没用了？
不是。它意味着评分缺陷可能影响到总分的至少 20%，这是一个关于分辨率的论断。这个基准仍然可以是它那个领域里最好用的仪器，同时无法支撑模型之间的细小区别。
SWE-bench Verified 是手工策管的，为什么还被评为有缺陷？
那次策管确立的是每个议题可解、且被充分说明。它没有确立随之附带的测试强到足以拒掉一个貌似可行但错误的补丁，而已发表的研究发现它们经常做不到。
「信息不足」是不是比「有缺陷」更好的结果？
对读者来说它严格更糟。有缺陷意味着这台仪器可被检视、而且缺陷被找到了；信息不足意味着它根本无法被检视，于是任何方向上都不存在误差界。
这些缺陷是怎么被发现的？
靠检视早已公开的材料——这些基准所披露的任务、验证器、参考解法与资源设置。其中许多缺陷在这次复核之前就已被公开指出过。整个过程不涉及任何机密信息。
我们应该停止汇报公开基准分数吗？
不该，但请在数字旁边一并给出版本与复核裁定，并停止从小于缺陷占比的差距里得出结论。对真正要紧的决策来说，一个从你自己流量里取样的小评测集，比任何公开排行榜都携带更多信息。
这与智能体排行榜上的那些方差发现重叠吗？
它与那些相互独立。方差工作关心的是那次运行——外壳与采样；而这件事关心的是任务集及其验证器。多跑样本修不好一个有缺陷的验证器，而一个被审计过的任务集也去不掉外壳这个混杂因素。
延伸阅读
本站内容：
- 补丁生成与测试驱动循环——同样的弱点在你自己仓库里的样子，以及如何度量它。
- 评测完整性与打分器博弈——当评分器本身成为攻击面。
- 基准污染与泄漏——公开分数偏离真实能力的另一个原因。
- 排行榜排的是那一对，不是那个模型——这张图景的方差那一半。
- 批判地阅读基准——给任何正要引用一个数字的人看的短版。