BrowseComp vs Gaia2 vs Mind2Web 2 vs DeepResearch Bench

四个面向网页研究智能体的基准,连"答案是什么"都谈不拢——一个短字符串、一条轨迹、一项主张连同它的来源,还是一份成文报告——而这个选择而不是排行榜,决定了每个基准能看见哪一种失败。BrowseComp 在同一篇论文里既报出 Deep Research 51.5% 的准确率,也报出 91% 的校准误差;而 DeepResearch Bench 发现报告质量与引用可信度在智能体层面只是弱相关。请按你承受不起的那种失败来挑。

作者 智能体 AI 维基 19 分钟读完

一个编造引用的研究智能体是彻底失败的,而这个品类里被引用最多的那个基准根本看不见这件事发生——BrowseComp 评的是一个短字符串,所以一个捏造出来的来源不是一个错答案,它是不可见的。这四个基准连"答案是什么"都谈不拢,而正是这种不一致、而不是排名,决定了每个基准能侦测到哪一种失败。请挑那个给你承受不起的那种失败打分的。

一览

四个基准,四个各不相同的被评对象。日期与数量取自各项目自己的论文或文档。

基准发布公开条目它评什么
BrowseComp OpenAI,2025 年 4 月 10 日 1,266 道题 一个短的、可核验的字符串
Gaia2 Meta,2025 年,基于 ARE 约 800 个验证场景 七项能力,等权重
Mind2Web 2 OSU-NLP,NeurIPS 2025 130 个任务(10 个公开开发集) 答案以及它的来源归属
DeepResearch Bench ICLR 2026 100 个任务,22 个领域 报告质量与引用,分开计
Public task count per web-research benchmark A horizontal bar chart of publicly available items. BrowseComp has 1,266 questions, Gaia2 about 800 public validation scenarios, Mind2Web 2 has 130 tasks of which 10 are a public development set, and DeepResearch Bench has 100 tasks. Grading depth runs the opposite way: the two smallest sets grade dozens to hundreds of rubric nodes per task, while the largest grades one short string. Public items per benchmark BrowseComp 1,266 Gaia2 ~800 Mind2Web 2 130 DeepResearch Bench 100 325 650 975 1,300 Grading depth runs the other way: the two smallest sets score dozens to hundreds of rubric nodes per task.
条目数与评分深度朝相反方向走,而这是那笔交换,不是一场意外。
What each web-research benchmark treats as the answer A four by three matrix. BrowseComp: the answer is a short string, graded by a semantic-equivalence checker, and a fabricated citation is invisible to it. Gaia2: the answer is a trajectory across seven capabilities, graded by a model judge plus exact match, and attribution is out of scope. Mind2Web 2: the answer is a claim plus its sources, graded by task-specific judge agents over tree-structured rubrics, and attribution is scored directly. DeepResearch Bench: the answer is a written report, graded by RACE for quality and FACT for citations, and attribution is a separate score. Legend: attribution scored, partly in scope, not visible. What counts as the answer The graded object Who grades it Sees a fake citation? BrowseComp A short string Equivalence checker No Gaia2 A trajectory Judge + exact match Out of scope Mind2Web 2 A claim and its sources Rubric judge agents Yes, scored directly DeepResearch Bench A written report RACE and FACT Yes, a separate score Attribution scored Partly in scope Not visible
四个里只有两个会给来源归属打分。那一列就是全部的论点。

BrowseComp——一个短字符串,与一道硬天花板的诚实

OpenAI 于 2025 年 4 月 10 日发布 BrowseComp:1,266 道难的、寻事实类的题目,是从最初的 1,287 道中剔掉 21 道标注有误或含糊的之后剩下的。每道题有一个难找而易验的短答案,而准确率是由一个语义等价判定器判为正确的占比。这个设计刻意很窄,而它买到了两样实在的东西——一个很大的条目数,和一个没人能跟它吵架的评分者。

那几个头条数字,以及为什么差距才是重点

在那篇论文里,带浏览的 GPT-4o 得 1.9%,o1 得 9.9%,而 Deep Research 得 51.5%。在同一批条目上拉开这么宽的差距,确实提供了信息:它说明被测的那项能力依赖于脚手架与训练,而不是模型质量的一个平滑函数。论文也坦白说 Deep Research 是专门针对 BrowseComp 这类任务训练过的,所以 51.5% 不是一个干净的分布外测量——这是基准污染问题最温和也最诚实的形式:由作者自己披露,而不是被审计者发现。

同一篇论文里那个没人引用的数字

BrowseComp 也测了校准,而那个结果比准确率数字有用得多。Deep Research 表现出 91% 的校准误差;带浏览的 GPT-4o 是 82%,而同一模型不带浏览是 69%。换句话说,那个会浏览的智能体比凭记忆作答的同一个模型更自信,而在"对自己的自信"这件事上更不准。通过率分析从另一个角度说了同一件事:在每题 64 次试验中,Deep Research 有 16% 的任务每次都解出来、14% 一次都没解出来——于是整个集合里约 70% 是一场掺着概率权重的练习,单次运行告诉你的东西很少。

如果你按单次运行就上线并报告准确率,你报告的是从那 70% 里抽到的一个样本。评测方差与统计功效讲的是那笔算术;而它的实用形态是:两个智能体在单次 BrowseComp 跑分上相差 2 个点,那是噪声。

Gaia2——评轨迹而不是评答案

Gaia2 是 Meta 对 GAIA 的继任者,而它换掉了被测对象。GAIA 问的是智能体能否跨三个难度等级找出一个答案,而 Gaia2 在最终那个数字里以等权重给七项智能体能力打分——其中包括执行、检索、适应性、时间推理、歧义处理与多智能体协作。它随 Meta 开放的 Agents Research Environments(ARE)框架一起发布,所以那个环境是可运行、可调试的,而不是一张静态题单;它在五种配置下共有约 800 个公开验证场景,另有一个 160 场景的 Gaia2-mini 子集。测试集保持私有,而评分按任务不同,把一个模型评判者(Llama 3.3 Instruct 70B)与精确匹配结合起来。

等权重是那个值得争论的设计决定,而它对一种目的是特性、对另一种目的是缺陷。把七项能力平均起来,给了你一个跨智能体可比的单一数字——这对追踪前沿有用。它同时也意味着:一个在五项上出色、在时间推理上毫无办法的智能体,会落在一个画像恰好相反的智能体附近,而这两个智能体在任何产品里都不能互换。请读按能力的拆分,而不是那个合成分;同样的警告适用于读懂智能体基准里的每一个聚合指标。

Gaia2不评的是来源归属。一个轨迹层面的基准问的是智能体是否采取了合理的动作、是否到达了正确的状态——对一个在环境里动手的助手来说这是对的问题,而对一份人类将要引用的交付物来说这是错的问题。轨迹与过程评测讲的是什么时候你要的就是这个框架。

Mind2Web 2——唯一会给来源打分的那个

Mind2Web 2(OSU-NLP Group,NeurIPS 2025 数据集与基准赛道)是这里最小的集合,也是建造起来最贵的:130 个长周期、随时间变化的网页任务,用了超过一千小时的人工打造,拆成一个 10 个任务的公开开发集,与一个用于排行榜的 120 个任务的私有测试集。

Agent-as-a-Judge,以及为什么 130 个任务够用

评分方式才是它的贡献。作者没有用一条评判提示词,而是依据树状结构的评分细则构建任务专属的评判智能体,而每个任务都带着几十到几百个细粒度的评估节点。这正是一个 130 任务的基准仍能区分出差异的原因:测量的单位是一个细则节点而不是一个任务,所以有效样本远大于条目数看起来的那样。一项针对这些评判者的人工评估报告称,自动化的叶节点判定正确率为 99.03%。

关键在于,那些细则同时核查答案正确性与来源归属。这是四者中唯一一个把"智能体陈述了一个真实的事实,却把它归给一个并没有那么说的页面"算作一次被计分的失败而不是一次通过的基准。如果你交付的研究产出会有人照着去动手,那这就是本文中最重要的那一项性质。论文报告最强的系统达到人类表现的约一半到 70%,而所用时间约为一半——这个形状有用,因为它说明剩下的差距是质量而不是吞吐。

DeepResearch Bench——两个分数,刻意不合并

DeepResearch Bench(ICLR 2026)评的是一份成文报告,而这正是一个深度研究产品实际交出来的东西。它是 100 个博士级研究任务,50 个中文、50 个英文,横跨 22 个领域,包括科技、金融与商业、软件工程以及艺术与设计——这是四者中唯一一个把非英语当作一等公民的,如果你的用户并非全都用英语写作,这一点很要紧。

它在两条轴上打分,而作者把两者分开保留。RACE 评报告质量——全面性、深度、指令遵循与可读性,合成为一个加权和。FACT 通过引用准确率与平均有效引用数来评检索与引用行为。而让这种分离站得住的那个发现是:两者在智能体层面只是弱相关。一个高 RACE 预测不了一个高 FACT。

这与 BrowseComp 的校准结果是同一个观察,只是从相反的一端抵达。BrowseComp 发现"答对"与"知道自己答对了"会分开;DeepResearch Bench 发现"写得好"与"引得诚实"会分开。两者都在说,一个单一数字无法代表研究质量,因为那些维度在经验上是相互独立的——而当你把它们压成一个时,被丢掉的那个维度,永远是关于真实性的那个。

如果你只有预算做一条轴,请去做 FACT 形状的引用核查,而不是 RACE 形状的质量评分。质量上的失败任何读者都看得见;来源归属上的失败看不见,而它们才是让交付物作废的那一类。引用与来源标注 UX 是同一个要点的产品那一半。

横向对比:这些基准分道扬镳的三个地方

什么算幻觉

在 BrowseComp 上,幻觉就是一个错的字符串,仅此而已——评分者从不去看来源,所以一个无来源支撑但正确的答案与一个来源扎实的正确答案得分完全相同。在 Gaia2 上,幻觉只有在它把轨迹带偏或污染了最终状态时才会显形。在 Mind2Web 2 与 DeepResearch Bench 上,一项无支撑的主张本身就是一个被计分的缺陷。四个基准,对幻觉与接地里那个核心失效模式给出了三种不同的定义。

真值腐烂得多快

BrowseComp 的答案是挑着稳定事实来的,这正是让一个冻结的 1,266 条目集合能保持有效的原因。Mind2Web 2 的任务则明确是随时间变化的——实时价格、当前房源、当下可得性——这让它们成了对生产环境远好得多的代理,也让维护远贵得多:一个正确答案在上周二变了的任务,现在是一个标注错误的条目。Gaia2 绕开了这件事,做法是让环境本身成为真值。DeepResearch Bench 居中:任务是耐久的,而 FACT 的引用核查跑在一个活的网络上。

私有拆分在谁手上

四者中有三个留着一个私有测试集——Gaia2 的那份留作内部验证、Mind2Web 2 扣下 130 个任务里的 120 个,而只有 BrowseComp 是完全公开的。为了排行榜的完整性这是对的决定,而它有一项你该计入的代价:你没法自己跑那个真正的评测,这意味着你没法在你自己的智能体、你自己的脚手架或你自己的模型上跑它。做内部工作时,你是在你自己的条目上复现那个方法,而不是在跑那个基准。评测完整性与评分器博弈讲的是他们为什么这么做;预算对齐的评测讲的是你自己做时必须控住什么。

什么情况下挑哪个

你的处境用因为
跨模型追踪原始检索能力 BrowseComp 公开集合大、评分者无可争辩、没有来源归属的噪声
建一个在环境里动手的助手 Gaia2 环境可运行、有按能力的拆分、适应性被计分
交付会被人引用的研究产出 Mind2Web 2 唯一会评"一个来源是否真的支撑那项主张"的
交付长篇报告,或面向非英语 DeepResearch Bench 把报告当作产物来评,并把引用留在它自己那条轴上

而对任何内部工作:请拿走方法,而不是分数。Mind2Web 2 的树状评分细则与 DeepResearch Bench 的双轴切分,都能在一周之内在你自己的五十个任务上复现出来,而且它们量的是你的产品。一个公开数字量的是别人的脚手架在别人的条目上的表现——这正是基准全景一直在讲的论点。

常见问题

给一个深度研究智能体该引用哪个基准?

单独哪个都不行。用 BrowseComp 看检索触达面,再用 Mind2Web 2 或 DeepResearch Bench 看产出是否可溯源。只报一个准确率数字而不报一个来源归属数字,描述的是产品的一半。

为什么 BrowseComp 的校准结果比它的准确率更有用?

因为准确率告诉你这个智能体多常是对的,而校准告诉你当它说自己是对的时候你能不能信。论文为 Deep Research 报出了 91% 的校准误差,也就是说自信的错答很常见——而这正是会抵达用户的那种失败。

一个 130 任务的基准大到可信吗?

Mind2Web 2 是的,因为每个任务都带着几十到几百个被评分的细则节点,所以有效样本远大于任务数。而一个每任务只给一个通过/失败的 130 任务基准就不是。

这些我能在自己的智能体上跑吗?

只能部分。BrowseComp 是完全公开的;Gaia2 与 Mind2Web 2 留着私有测试拆分,所以你可以对着公开那部分做开发,但排行榜分数不是你能在本地复现的东西。做内部评测时,请把评分方法搬到你自己的任务上。

一个高的报告质量分意味着好的引用吗?

不。DeepResearch Bench 发现 RACE 与 FACT 在智能体层面只是弱相关,所以报告质量与引用可信度必须分开测、分开报。

延伸阅读

本站:

项目来源: