深度剖析 / 评估智能体

评估智能体

评估智能体的 2026 学科:基准饱和、评判器校准、漂移检测,以及经受住生产接触的评测方法学。

  1. 评判器校准与元评测
    Prometheus 2、JudgeBench、RubricEval;元评测坍缩;85–90% 的人机一致底线;月度重校准节奏。
  2. 2026 年基准全景
    SWE-bench Verified 已饱和(前五仅相差 0.7 分);SWE-bench Pro;把污染当法律威慑;为何 Verified 如今是审计信号,而非排名。
  3. HAL 与异步智能体评测
    Princeton HAL(每解一题的成本 + 5 维可靠性面板);Gaia2(异步环境、写动作核验器、时间约束);为何静态基准漏掉真实部署。
  4. 轨迹与过程评测
    为智能体如何工作打分,而不只看最终答案:结果 vs 轨迹评测;AgentEvals 匹配模式(strict/unordered/subset/superset);基于参考 vs 无参考的 LLM 评判;过程奖励模型的迁移;以及为何对路径做精确匹配会误伤正确的智能体。
  5. 评测驱动开发与 CI 中的回归评测
    把评测作为 CI 门禁而非一次性检查:黄金集作为活资产;用 pass^k 与配对显著性检验应对非确定性;线上 vs 线下、金丝雀与漂移检测;把成本/延迟作为可设门槛的预算;promptfoo、DeepEval、Inspect。
  6. 评测方差与统计功效
    单次运行的智能体分数是一次抽样,不是一次测量:pass@k 与 pass^k 的分别、为何任务间方差意味着加任务胜过加运行次数、在同样预算下把可检测效应砍半的 McNemar 配对设计,以及那条阻止团队在噪声上棘轮式推进的决策规则。
  7. 基准污染与泄漏
    污染属于(模型,基准,日期)这个三元组,而不属于基准:逐字泄漏、解法泄漏与间接泄漏之分,为何智能体基准泄漏的是环境而不只是答案,四个从外部就能跑的检测,以及"公开分数用来筛选、只有截止日之后的数据才用来决定"这条规则。
  8. 评测完整性与打分器博弈
    分数是由「受测智能体够得着的那套软件」产出的:任务层面的奖励作弊、框架被攻陷与跨运行污染,是三种共用一个词的不同失败,而第三种伪造的不是某一次运行,而是整个样本。请在进程之外、从一份不可变的轨迹来打分,删掉运行之间每一块共享的可写面,并把隔离属性与数字并排发布。
  9. 对活体系统做评测
    一场与不属于你的系统发生往来的评测,是一次没有变更管理的部署,而 2026 年 9 月的 Medicare 门户事件就发生在这样一次评测里:请把「绕过了拒绝」判为失败,否则你那些成功轨迹会变成一份鼓励绕行的奖励;然后限制按主机的负载、从一个可归属的出口发起流量,并把请求日志与轨迹关联保留,外加一个「可以去告知」的指定责任人。
  10. 智能体评测中的人类基线
    一个分数在你知道「一个称职的人在同样的任务、同样的时限、同样的工具下、由同一个打分器来评,能得多少」之前,是没有分母的——而对团队们引用的几乎每一个基准,这个数字从来没有被采集过。基线就是那个四元组,打分器会同时把比较往两个方向掰,而 METR 的时间跨度方法是这个领域唯一一份经过校准的答案。然后用两个人日自己做一份,并汇报比值,永远不要只汇报分数。
  11. 预算对齐的评测
    在两个不同预算下得出的两个分数是无法排名的,因为「准确率—预算」曲线会交叉:有一个模型在 Terminal-Bench 2.1 上被报为以每次约 25,000 token 拿到 80.1%,而另一个以约 80,000 token 拿到 81.0%——在排行榜上这是平局,而在任何你真会上线的额度下都远不是平局。每解一题的成本记录的是某次提交选择花了多少;预算对齐约束的是每个候选允许花多少,而只有后者回答得了部署问题。请从你的延迟与成本上限推导出额度,把截断判为失败,先看截断比例再看通过率,并保留一条不设上限的对照臂,用它告诉你到顶的是额度还是模型。
  12. 评估一个你只能调用的智能体
    没有轨迹,你就分不出「答对了」和「蒙对了」,而这恰恰是智能体评测的全部工作——于是改由三样便宜的仪器来承担:重复 n 次,量判定有多频繁地变(汇报「n 次全通」,而不是 pass@n:每次 80% 的可靠性,放在五次调用的用户旅程上,只有三分之一能跑完);反事实探针,用来确立「有据可依」;以及对智能体在你自己系统里留下的副作用做断言。单次收益最高的一跑是删除探针:把沙箱语料库里的支撑文档删掉再问一遍,因为一个仍然自信作答的智能体,从来就没在读你的数据。而由于每一种技法都依赖一项「签字前免费、签字后昂贵」的访问权,你跑得动的那套评测,就决定了你签得下的那份合同——版本标识、一个可改动的沙箱、逐请求的步数与 token 计量、按节奏运行自己测试集的权利,以及评测集的退出条款。
  13. 评估多轮智能体
    一段录下来的对话,在智能体第一次偏离的那一轮就过期了,因为第三轮的期望答案假定了第二轮的回复——而这份偏置恰恰针对那个「一轮就诊断出录音花了四轮才搞清之事」的智能体。改为把用户生成出来,模拟器就加入了被测系统:τ²-bench 把它建模为双方都握有工具的双控 Dec-POMDP,它最难的那个领域让当时某个前沿模型从 retail 的约 74% 掉到 telecom 的约 34%,而光是官方框架那条「不携带思维」策略,据报告就要付出 3 到 5 分。所以请把模拟器、它的提示词、携带策略与轮数上限公布在每个数字旁边;在数据库里评最终状态;让四分之一的用例以「不该写入」收场;并记录目标切换恢复时间与冗余工具调用——那是没有任何排行榜会递给你的两个计数器。
  14. 当检查本身必须动手
    一个必须改变系统才能观察系统的校验器,有它自己的失败率——而那个失败率被记在了你智能体那一栏。OSWorld 的表格任务会通过 pyautogui 按下 Ctrl+S、sleep 0.5 秒,再去比对一份经网络抓来的标准文件,而在这之前还要求窗口标题以 strict: true 精确匹配;在它的任务文件里,评分路径对着 368 道题发出了 358 次 execute、307 次 sleep、293 次 download 与 200 次 activate_window。这份噪声与能力是反相关的,因为只有做完的智能体才走到 postconfig。解法是每次 sweep 做一次标准态重放,并多出第三种结果:把 INDETERMINATE 单独汇报,并把它排除在分母之外。
  15. 参考解运行与不可解任务
    每一个分数都是一个分母靠假定的分数,而任务会悄悄死掉——某个传递依赖解析不出来了、某个基础镜像标签挪了位、600 秒的上限不再够用。在一套算过的 180 题题目上,十二个死掉的任务把一个未经改动的智能体从 62.2% 变成 57.8%:那 4.4 个百分点的「退步」,按本可达成的分母算其实是 61.9%,也就是什么都没发生。死任务只会做减法,所以这个漂移带符号,而且总被读成模型退步;而一个被削弱的测试偏向另一侧、同时让参考解运行保持全绿——这就是为什么你需要两个哨兵:参考解测天花板,空操作求解器测地板。Terminal-Bench 的维护者是唯一公布过这个比率的团队:89 个经专家评审的任务,在发布半年后修掉了 26–28 个。