人人从智能体排行榜上读出来的那句话——「这个模型比那个强」——恰恰是排行榜支撑得最差的一项主张，而 2026 年 9 月一份对 22 个智能体基准的方差分解，如今给「差多少」标上了数字。给系统排序的可靠度是 0.935 到 0.994；给它背后那个模型排序，是 0.148 到 0.841。补救办法不是加题。加题有天花板。
速览
这篇论文是《Agent Evaluation Reliability: More Tasks Won't (Always) Fix An Agent Leaderboard》（arXiv:2610.00651），作者为 Michael Hardy、Ruhana Azam、Anka Reuel、Mykel Kochenderfer 与 Sanmi Koyejo，2026 年 9 月 30 日投稿。它从心理测量学借来概化理论，搭了一个贝叶斯方差分解框架，能容纳真实智能体排行榜那种稀疏、不均衡的设计。
| 你在主张什么 | 可靠度（Eρ²） | 落到实处是什么意思 |
|---|---|---|
| 给固定的「模型＋脚手架」系统排序 | 0.935 – 0.994 | 可依赖：重跑一遍排行榜，次序站得住 |
| 给底下那个模型排序 | 0.148 – 0.841 | 在下限那一端，次序近乎任意 |
| 无限加同类任务 | 最多 +0.097 | 当脚手架覆盖面主导时，惯常的补救办法被封顶 |
它分解的数据是公开记录：来自 Holistic Agent Leaderboard 与 Harbor Index 的 22 个基准。HAL 是 Kapoor 等人在 ICLR 2026 上提出的标准化评测外壳，以 9 个模型、9 个基准上的 21,730 次智能体 rollout 做过验证。Harbor Index 则是一份元数据集，收录了 29 个智能体基准、9 个大模型、4 种脚手架下的任务级分数——这恰恰是「要问脚手架是不是在替你排名」所需要的数据形状。
两项主张，同一张表，可靠度天差地别
概化系数回答一个直白的问题：如果你在等价条件下把整套测量重跑一遍，这个次序能留下多少？在 0.99 上基本全留。在 0.15 上，你读的是印着排名的噪声。
上面那根柱子是好消息，而且是真的好消息。智能体排行榜没有坏掉。如果你要在「这个智能体，照它被造出来的样子，跑这套外壳」和「那个智能体，照它被造出来的样子，跑那套外壳」之间做选择，这个次序的可依赖程度，已经是这类测量能达到的水平了。挑产品的团队得到的是一个能用的答案。
下面那根柱子，是你把脚手架剥掉、改谈模型时发生的事。而那正是每个人都会做的动作：排行榜一行写着一个模型名字，采购材料引用这个模型名字，而脚手架——提示词、工具定义、重试策略、步数上限、外壳——消失进了方法学脚注里。这篇论文的贡献，是证明被丢掉的那部分承载着信号里很大且多变的一块，并为由此而来的测量命名：跨脚手架可靠度，直接问「换掉脚手架之后，模型的排名还保不保得住」。在这些评测上的答案是，脚手架效应变化相当大。
为什么「多加点题」会撞墙
对一个有噪声的基准，惯常的回应是把它做大，而对于某一类噪声，这完全正确：任务上的抽样误差会随着加题而缩小。这一条此前也是本站的长期建议，见《评测方差与统计效力》，那里的论证是：500 道新题买到的精度，胜过在已有题目上多跑五遍。对它所针对的那一项方差，这仍然成立。这篇论文指认的，是它够不着的那一项。
头条数量是那个上限：当脚手架覆盖面是不确定性的主导来源时，哪怕无限多道同样造法的任务，也最多把模型排序可靠度抬高 0.097。一笔没有上限的预算，按惯常方式花掉，把那个数字挪动不到十分之一。这正是要把「同样造法」四个字读成关键词的全部理由——从同一个生成器里抽出来的任务，在你已经采样得很好的那个维度上有变化，而在你根本没有采样的那个维度上完全一样。
建设性的那一半随之而来：把测量条件铺宽，而不是把其中一个挖深。这项工作的一份二手摘要报告说，把多样化的基准汇聚起来，可以在同样的任务预算下，把预计的跨任务可靠度从约 0.44 抬到 0.75——同样的花费，不同的分配。请把这一对具体数字当作「被报道的数字」，而不是我们已经追到论文表格里核对过的；摘要本身支持得住的，是方向那一部分。
这改变了人们实际写下的那些句子
三句话变弱了，一句话变强了。
「模型 A 在智能体任务上胜过模型 B。」除非这项主张跨过了多种脚手架，否则站不住。单一脚手架的排行榜，测的是「A 在那套外壳里」对「B 在那套外壳里」，而论文的发现是：外壳这一项既不小，也不恒定。这正是多数模型发布文章里的那句话。
「我们加了 400 道题，所以排名现在稳了。」以一种具体、可核查的方式站不住。去问那 400 道题变化了什么。如果它们出自同一个生成器、用同样的工具、同样的步数上限，那它们买到的是本来就没问题的那一项上的精度。
「我们的智能体是业界最强。」不受影响，而这是活下来的那一句。一家出货完整系统的厂商，做的恰恰是那项在数据上 0.935 起跳就被支撑的系统级主张。这里的反讽值得点出来：对商业主张，排行榜比对科学主张更可信。
「这套脚手架能让任何模型变好。」现在有一项具名的测量在等着它了。跨脚手架可靠度是对称的——如果脚手架保不住模型的排名，那么模型也保不住脚手架的排名，而一个框架公布的提升幅度，是一项关于「它拿哪些模型测过」的主张。
在把一个智能体基准引进决策文档之前，在分数旁边写下两个数字：多少道任务，以及多少种不同的脚手架。如果第二个数是 1，那这个分数就是一次系统测量；你本来要写模型名字的地方，应该写上那个系统的名字——连外壳一起。
读完之后该怎么花评测预算
实际的重新分配很小，也不受欢迎，因为它花掉的是一份没人给记功的广度。
在把题量翻倍之前，先跑两套脚手架。最便宜的版本不是换第二个框架，而是同一套外壳、动一个结构性旋钮——换一个步数上限、换一套重试策略、换一个粒度去定义工具。如果排名翻了，你就以那个价钱学到了能学到的最重要的一件事，而且是在决策之前学到的，不是在迁移之后。
把多个基准汇聚起来，而不是把一个基准拉长。三个各 200 道题、对「一道任务长什么样」各执一词的基准，在同样的预算下比一个 600 道题的基准更值钱，理由相同。具体做法就是我们在《预算对齐的评测》里描述的那一套：先把花费固定住，再来争分配。
还有，把脚手架留在产出物里。多数评测工具记下模型字符串，却把外壳配置丢进一个不被追踪的文件，这让每一份历史结果恰恰在这篇论文所说的主导维度上无法复现。HAL 式的答案——一套标准化外壳、公开的 rollout——之所以管用，是因为脚手架被钉住且可见，而不是因为它是对的那套脚手架。关于这套基础设施，更多见《HAL 与异步智能体评测》；关于怎么读已公布的分数，见《基准全景》。
诚实的保留
这是一篇预印本，它的系数是一个拟合到稀疏、不均衡数据上的贝叶斯模型给出的估计——这既是论文自陈的贡献，也是它的暴露面，因为它所容纳的那种不均衡，是它必须建模而非观测到的。0.148 这个下界是某一个基准的数字，不是一个典型值；把这个区间读成一个数字，正是这个区间存在所要防止的错误。
它也没有说排行榜没用，任何那样引用它的人都把它读反了。它的发现是：这些仪器对一件事精确、对另一件事不精确，而公布出来的那个数字并不会标明你正在读的是哪一件。这是个可修的问题，而修法是加一列，不是撤稿。
常见问题
概化系数是什么？
一个来自心理测量学的可靠度指标，记作 Eρ²。它估计的是：若在等价条件下重复这次测量，观察到的次序有多少会被复现。接近 1.0 时次序可依赖；接近 0.15 时近乎任意。
这里说的脚手架指什么？
把模型变成智能体的那一圈东西：系统提示词、工具定义及其粒度、重试与错误处理策略、步数上限、记忆策略、跑这个循环的外壳。两个团队用同一个模型配不同脚手架，跑的是不同的系统。
这是不是说智能体排行榜坏了？
不是。它们在给完整系统排序这件事上是可靠的——在这 22 个基准上是 0.935 到 0.994。问题在于，读者会把系统排名换算成模型排名，而数据并不支撑这次换算。
为什么加题修不好它？
因为多出来的任务削减的是任务抽样方差，而限制模型排序可靠度的那一项是脚手架方差。论文报告说，当脚手架覆盖面主导时，哪怕无限多道同样造法的任务，也最多把模型排序可靠度抬高 0.097。
那该做什么？
改变测量条件。在把题量翻倍之前先跑第二套脚手架，并把多样化的基准汇聚起来，而不是把一个拉长。两者改变的都是「在采样什么」，而不是「同一件事采样多少」。
这和「加题胜过加重复运行」的建议矛盾吗？
它是对那条建议的细化。对重复运行所针对的那一项方差，加题仍然胜过加重复运行。这篇论文添上了第三项、任务这根杠杆够不着的方差，并指出对模型级主张而言，那一项往往才是卡住的那一项。
延伸阅读
本站：
- 评测方差与统计效力——这篇论文所延伸的「任务 vs 重复运行」之争。
- HAL 与异步智能体评测——本次分析所用 rollout 来自的那套标准化外壳。
- 基准全景——已公布的智能体分数能立住什么、立不住什么。
- 预算对齐的评测——先固定花费，再争方法。
- 智能体外壳——作为概念的脚手架，以及它为什么不是细节。