评测与排行榜:批判地阅读基准。
基准分数是一台测量仪器给出的读数,只有先检查过这台仪器,才该相信它。检查有三项:这台仪器究竟测的是什么?它是否依然可靠,还是已经混进训练数据、积累了一堆坏掉的测试?你看到的差距,是否大于仪器自身的噪声?本条目介绍 2026 年智能体开发者实际会碰到的基准、其中最有名的那个是怎样失效的、噪声背后的算术,以及为什么你自己那套小评测集才是唯一对准你任务的仪器。
步骤 1你会遇到的三类评测。
- 静态基准套件。固定的任务,配有已知答案或可执行的检查:代码方面有 SWE-bench Verified 和 SWE-bench Pro,专家知识方面有 Humanity's Last Exam,会用工具的助手方面有 GAIA。它们可复现、可比较。但它们也是固定的,因此容易被刷分、容易泄漏进训练数据,而且评分器本身好坏决定了它的上限。
- 人类偏好竞技场。LMArena(前身是 Chatbot Arena)向用户展示两个匿名回答并请他们投票,再把投票汇总成评分。它很好地反映了真实场景中的偏好,但它测的是“人们更喜欢哪个回答”,而不是“哪个回答是对的”。
- 任务特定 / 私有评测。你自己的数据集,按你自己的成功标准打分。这一类通用性最低,对决策却最有用,因为只有它测的是你真正在乎的东西。
每一类回答的是不同的问题。最常见的评测错误,就是把“竞技场登顶”当成“在我的抽取任务上最准”。对智能体来说,在模型之外还有第四个变量:harness(执行框架)。一个 SWE-bench 或 Terminal-Bench 分数属于“某个模型跑在某个特定脚手架里”,配着特定的工具、特定的轮次预算和特定的尝试次数。把同一个模型放进你自己的循环,得到的会是另一个数字。
步骤 2智能体开发者常见基准速查。
在掂量任何一个分数之前,先弄清它的基准测的是什么、在哪里会误导人。以下细节截至 2026 年 10 月。
风格控制值得细看,因为它证明了竞技场的偏差真实存在、而且可以量化。LMArena 把回答长度以及 markdown 标题、粗体和列表的数量作为协变量加入评分模型。结果回答长度是最强的风格因素。控制风格之后,grok-2-mini 的总榜排名从第 6 跌到第 18,gpt-4o-mini 从第 6 跌到第 11,claude-3-opus 则从第 16 升到第 10。没做这项调整的排名,有一部分反映的是排版。
步骤 3案例:标准编码基准是怎样被用坏的。
OpenAI 在 2024 年 8 月推出 SWE-bench Verified,用来修正噪声很大的原版 SWE-bench,此后十八个月里,它就是那个衡量编码智能体的数字。2026 年 2 月,OpenAI 发表了《Why we no longer evaluate SWE-bench Verified》。它审查了自家模型无法稳定解出的 138 道题,每道都由资深工程师复核,发现其中 59.4% 的测试或题目描述存在实质问题,很多是会把功能正确的修复判为失败的测试。它还发现,三家厂商的前沿模型都能凭记忆复现部分原始修复。与此同时,最高分在六个月里只从 74.9% 涨到 80.9%,已经无法区分是模型的极限还是数据集的缺陷。
OpenAI 转而推荐 SWE-bench Pro。五个月后,2026 年 7 月,OpenAI 对 Pro 的 731 个公开任务做了审查,估计其中约 30% 是坏的:自动化流程标出 27.4%,人工标注标出 34.1%。OpenAI 随即收回了推荐。在八个月里,前沿模型在这个公开集上的通过率从 23.3% 涨到了 80.3%。
教训不在于某一个基准不好。所有公开基准都会衰变。它会泄漏进训练数据,整个领域会针对它优化,而它评分器的错误会逐渐占据剩下的提升空间。一旦分数逼近天花板,两个模型之间的差距,来自坏题的成分可能和来自模型本身的一样多。
步骤 4噪声算术:你到底能分辨多大的差距?
即使基准本身可靠、没有污染,分数也只是从有限样本中得出的估计。设有 n 道题、测得准确率 p,标准误为 √(p(1−p)/n),95% 置信区间约为 ±1.96 个标准误。比较两个各自独立打分的模型时,差值的不确定性约再放大 √2 倍:
# 95% half-widths, in accuracy points, at p = 0.80 n items one score gap between two models 50 ±11.1 ±15.7 100 ±7.8 ±11.1 200 ±5.5 ±7.8 500 ±3.5 ±5.0 # SWE-bench Verified size 2500 ±1.6 ±2.2 # Humanity's Last Exam size
这就是为什么在一个 500 题的基准上“模型 A 比模型 B 高 1.5 分”通常毫无意义,也是为什么你那 50 个样例的评测集无法裁决一个 5 分的问题。对智能体而言,这张表其实还低估了噪声:它把每道题当作一枚固定的硬币,而智能体的每次运行本身就是随机的,同一个模型做同一道题,这次过了,下次可能就挂了。有两个低成本的办法。让两个模型在同一批题上打分,逐题配对比较,这样能消掉题与题之间的方差。再让每道题多跑几次,这正是下一步要讲的。
步骤 5pass@k 与 pass^k:发现能力与可靠性。
τ-bench 论文(Sierra,2024)提出了一个每位智能体开发者都应牢记的区分:
- pass@k 是 k 次独立尝试中至少一次成功的概率。它随 k 增大而上升。当有验证器能挑出胜者时(例如由测试把关的代码生成),这是合适的指标。
- pass^k 是 k 次尝试全部成功的概率。它随 k 增大而下降。当每一次用户交互都算数时(例如直接面对客户的智能体),这才是合适的指标。
两者差距很大。一个独立运行成功率为 80% 的任务,pass@8 约为 100%,而 pass^8 是 0.88 ≈ 17%。在论文中,GPT-4o 的函数调用智能体在 τ-bench 零售领域的 pass^1 为 61.2%,pass^8 则跌到 25% 以下。一个醒目的单次运行分数,告诉你的是模型能不能完成任务。它完全没有回答模型是否每次都能完成,而对大多数生产环境中的智能体来说,后一个问题才是关键。厂商表格里给智能体报“k 次取最好”或 pass@k 的,回答的都是那个更容易的问题。
步骤 6到底该怎么用它们。
公开基准只擅长一件事:初筛。从 STEP 2 中挑出一两个最贴近你工作负载的基准,用它们选出几款能力档次合适的候选模型。之后,就换成一台你自己掌控的仪器:
- 收集 100–200 个贴近你真实流量的样例,包括那些困难和古怪的情况。事先用 STEP 4 的表确认这套数据能分辨多大的差距。在 200 道题时,独立打分的两个模型之间不到约 8 分的差距都是噪声。
- 为你的任务定义一个具体、可自动化的成功指标,而不是一个通用分数。
- 让每个入围模型在同一批题上各跑若干次,除了均值,还要报告配对差值和 pass^k。
- 在同一轮运行中记录成本与延迟,让比较覆盖成本 / 质量 / 延迟这整个三角。
这套数据集是你在整个主题里能构建的最有价值的产物。它比任何一次模型发布都活得久。它是私有的,没人会拿它训练,也就不会像 SWE-bench Verified 那样衰变。它也是唯一能可靠回答“新模型对我来说是否更好?”的东西。具体怎么构建,参见 评测入门 和 智能体评测。
步骤 7保持跟进,但不来回折腾。
排名每隔几个月就会重排,基准本身也会被淘汰,所以追逐每一次发布都是白费力气。稳妥的做法是:把评测集纳入版本控制,用一层薄薄的接缝把模型隔开。出现可信的新版本时,跑一遍你的评测,在三个维度上比较,只有当提升真实存在、超出噪声带、并且对你的工作负载有意义时才切换。关注领域的结构性变化,而不是排行榜的洗牌。结构性变化包括:新的模态、大幅的价格变动、改变你能委托给智能体多少工作的时间跨度趋势,或者你依赖的某个基准已被淘汰的消息。这样,凡是会改变你选择的东西,你都能及时跟上,又不必每周重新做一遍决定。