这张排行榜的天花板是百分之十二

SemiAnalysis 于 2026 年 11 月 2 日发布 GDPx——206 道专业任务、11 个领域、每题最多八小时——而 Claude Opus 5.5 以 12.0% 排在第一,第二与第三是 10.9% 与 9.6%。2.4 个百分点的差距不构成一份排名,而真正把这些模型分开的那一列是成本:把每个模型的平均每题成本除以它的完成率,Gemini 4 Carbon 约合每单位完成工作 149 美元,而榜首是 428 美元、第三名是 562 美元。金融与法律在二元判分下所有模型都得零分,而拒答计为失败,所以这张榜单排的有一部分是拒答策略。

作者 智能体 AI 维基 17 分钟读完

一个「全世界最好的模型只做完 12% 的活儿」的基准,不是在告诉你该买谁。它是在告诉你:这份工作眼下还没人做得了——而 SemiAnalysis 新发布的 GDPx 榜单上,唯一一列差距大到足以改变决定的,是以美元计的那一列:把成本除以完成率,第二名的单价大约只有第一名的三分之一。

GDPx 是什么

SemiAnalysis 于 2026 年 11 月 2 日发布 GDPx,署名 Max Kan、Andrew Megalaa 与 Dylan Patel。它试图测量的是长时程的专业工作,而不是考试题:206 道任务横跨 11 个专业领域,与 14 家数据合作方共同搭建,单道任务最长可跑八小时,每道任务的分数都取三次尝试的平均。

模型得分每题成本备注
Claude Opus 5.512.0%$51.41总榜第一;每题约 548,000 个输出令牌。
Gemini 4 Carbon10.9%$16.29第二;据报道尚未普遍可用。
GPT-6 Astra9.6%$53.99第三,也是这三者中最贵的。
GLM 5.32.7%—已公布集合中名次最高的开放权重选手。
GDPx v1.0 headline scores Headline scores on the GDPx v1.0 leaderboard across 206 tasks in 11 professional domains. Claude Opus 5.5 leads with 12.0 percent, Gemini 4 Carbon follows at 10.9 percent and GPT-6 Astra at 9.6 percent. The open-weight GLM 5.3 reaches 2.7 percent. The whole frontier sits inside a band under thirteen percent. Share of 206 professional tasks completed Claude Opus 5.5 12.0% Gemini 4 Carbon 10.9% GPT-6 Astra 9.6% GLM 5.3 (open weights) 2.7% 0% 4% 8% 12% First to third spans 2.4 points. No model finishes one task in eight. Each task is scored as the average of three attempts, up to eight hours of work each.
整条闭源前沿都挤在 2.4 个百分点的带子里,而且全都低于「八道题做成一道」。

一条出处说明。这里的数字来自公开榜单,取自发布后两周内大量相互独立的报道,而不是直接读 SemiAnalysis 的方法论文章——它们在各来源之间是一致的,而这就是能诚实主张的全部。请把精确到小数的那些数字当作可引用的,把按领域的细节当作近似的。

在 12% 的天花板下,2.4 个百分点的差距不构成一份排名

先看这张表的头部能支撑什么、不能支撑什么。第一到第三是 12.0% 到 9.6%。在 206 道任务上,2.4 个百分点的差别大约相当于五道任务的结果,而每道任务的分数本就已经是三次尝试的平均——因为单次尝试噪声太大、根本不能用。评测方差的那套算术对这个量级的差距并不客气:在这个数据集规模与这个成功率下,每个分数周围的区间与邻居绰绰有余地重叠。

所以「Opus 5.5 是最好的智能体模型」是这张榜单并没有真正提出的主张,而作者自己那个取平均的做法就是证据。它确实稳健地确立的,是那个天花板。每一个闭源前沿模型都低于 13%,而名次最高的开放权重选手在 2.7%。这是一个关于任务类别的陈述,而它才是有用的那个——因为一个 12% 的天花板说出了任何排名都说不出的事:对这些活儿而言,无人值守的智能体还不是一件产品。可部署的那个数字在任务时长视野里,不在头条上。

不过,对「天花板低」有一种读法值得抵制。一个新基准分数低,部分正因为它是新的——还没有东西针对它训练过、还没有东西漏进训练集,而这些任务是与合作方一起搭的、不是爬来的。诚实的对照不是「这里 12% 对编程基准上的 70%」,而是「在未受污染的八小时专业工作上 12%」;而该配着读的是基准污染,那才是那些熟悉数字看起来更漂亮的原因。

成本那一列才有真正的差距,而它把排名翻了过来

Dollars per unit of completed work Average benchmark cost per task divided by the model's completion rate. Gemini 4 Carbon works out to about 149 dollars per unit of completed work, Claude Opus 5.5 to about 428 dollars, and GPT-6 Astra to about 562 dollars. The headline quality ranking inverts once cost is divided by success. Benchmark cost per task ÷ completion rate Gemini 4 Carbon $149 Claude Opus 5.5 $428 GPT-6 Astra $562 $0 $200 $400 $600 Accent marks the cheapest, not the highest-scoring. The leader on quality is 2.9x the cost of second place. Derived from published averages; benchmark costs include failed runs, so this is cost per unit of work, not a quote.
把价格除以成功率,榜单上的次序就不再预测账单上的次序了。

与分数一同公布的是平均每题成本,而它恰好有分数所缺的那种差距:Gemini 4 Carbon 为 $16.29,对上 Opus 5.5 的 $51.41 与 GPT-6 Astra 的 $53.99。这是成本上 3.3 倍的跨度,对上质量上 2.4 个百分点的跨度——这本身就已经告诉你,你的决定住在哪根轴上。

做一下榜单没做的那次除法,它会更锋利。那些美元数字是所有尝试(成功的与失败的)的平均——所以用平均成本除以完成率,得到的是「每单位真正完成的工作」要多少钱:

  • Gemini 4 Carbon——$16.29 ÷ 0.109 ≈ $149
  • Claude Opus 5.5——$51.41 ÷ 0.120 ≈ $428
  • GPT-6 Astra——$53.99 ÷ 0.096 ≈ $562

按每单位交付的工作算,质量榜首大约是第二名的 2.9 倍贵,而第三名是第二名的 3.8 倍。排名翻转了,而翻转只用到了榜单自己公布的数字。

关于这段算术有两条诚实的保留,因为这正是那种会被人截图的计算。它假定一道完成的任务不论出自哪个模型都同等值钱,而在这么复杂的工作上这是一个实打实的假设——一个落在难任务上的 12%,与一个落在易任务上的 10.9% 并不等价。而且基准平均值不是报价:你的工作负载不是 GDPx,Carbon 据报道尚未普遍可用,而标价是会动的。在这两条保留之后仍然站得住的,是这件事的形状。当质量差异落在噪声之内、而成本差异是成倍的,那这个决定就是一个成本决定;而跑这个比较的正确方式是在对齐的预算下、而不是在对齐的模型下——这就是预算对齐评测的全部论点,也是 GDPx 让这件事格外容易做的原因:它把美元公布了出来。

两个领域得了零分,而那是另一类结果

在原定的二元判分之下,金融与法律任务让集合里每一个模型都得了零分,这正是 SemiAnalysis 改为对这两个领域报告平均部分得分的原因。而那些有赢家的领域,赢家各不相同——量化交易、硬件与芯片设计归 Opus;生物学以及(以微弱优势)软件工程归 Carbon;递归自我改进与材料科学归 Astra。

这个格局比总分那一列更要紧。一个出现普遍零分的领域,报告的不是厂商之间的能力差距;它报告的是任务定义与模型根本还没有接上,而在那里换模型改变不了你的答案。一个有明确赢家的领域是一个真实信号,而它是按领域的——这意味着人人引用的那个总平均,是在十一个专业上做的一次混合,而其中最多一两个像你的工作。这就是批判地阅读智能体基准里讲的那个标准失误:聚合值是整张表里信息量最小的那一格,也是唯一一格塞得进标题的。

那次换成部分得分的替代,也值得一句告诫。恰恰在二元判分返回零分的那两个领域里把二元判分换成部分得分,作为可读性上的编辑选择是合理的,但它让这两个领域的数字与其余九个不可比。不要把它们平均在一起。

拒答计为失败,于是这张榜单排的有一部分是拒答策略

SemiAnalysis 指出,安全分类器压低了部分模型的分数,在网络安全、生物学与对齐类任务上尤为明显。机制上这是无从避免的:如果一个模型谢绝了一道任务,这道任务就没完成,而自动评分器记下的零分,与一个错答案得到的零分完全一样。

后果是:在那些领域上,两个模型之间差距里有某个未知的部分是部署策略之差、而非能力之差。这不是对基准的抱怨——一个「活儿干不成」的买家并不在意为什么——但它改变了这个数字预测什么。拒答行为是一个已部署模型身上最易变的性质,在小版本之间被重新调过,而且 API 与消费级产品之间也不一样;更长的论证在拒绝与能力门禁里。一份能力排名本该在一个模型版本的整个寿命里保持稳定。而一份把拒答率包在里面的排名,只能和厂商当下的策略一样稳定。

实践指令是:在任何与安全有重叠的领域上,先要求把拒答与失败分开报告,再把分数当作能力来看。如果外壳分不开这两者,那是外壳的性质——而正如智能体外壳所论证的,每个智能体基准分都同时给一个模型和它所在的那层脚手架打分,而被点名的只有其中一个。

该从它身上拿走什么

三件事,而第一件最可能被跳过。

用天花板,而不是用排名。可迁移的发现是:在未受污染的多小时专业工作上,眼下最好的模型大约是「八道里做成一道」。这是一条支持「把智能体的范围收到人会复核的那些步骤上」的论据,也支持在你自己的任务上量出你自己的视野、而不是继承别人的。

把那次除法做掉。任何一张在分数旁边公布了成本的榜单,都让你算得出「每单位完成工作的美元数」,而大体上只要分数差距小,这个数字的排名就与分数的排名不同。它只是一行算术,而且这正是你的财务团队反正都会来要的那个数字——框架见智能体单位经济:每成功任务成本的可信度,只等于那个判定成功的验证器的可信度。

先读领域那一列,再读总分。在十一个领域里找出那一两个像你工作负载的,然后忽略平均值。如果你的领域正是得了零分的那两个之一,那这份基准给你的答案是:这眼下还不是一个选模型的问题。

常见问题

GDPx 基准是什么?

SemiAnalysis 于 2026 年 11 月 2 日发布的一个长时程智能体基准:206 道任务横跨 11 个专业领域,与 14 家数据合作方共同搭建,任务最长可跑八小时,每道任务取三次尝试的平均分。

GDPx 上是哪个模型领先?

Claude Opus 5.5,12.0%;其后是 Gemini 4 Carbon 的 10.9% 与 GPT-6 Astra 的 9.6%。已公布集合中名次最高的开放权重选手是 GLM 5.3,2.7%。

为什么最高分只有 12%?

因为这些任务是多小时的专业工作而不是考试题,也因为这个基准是新的,还没有东西针对它训练或调优过。一个崭新、未受污染的集合上的低分,与一个人人熟知的集合上的高分并不能直接相比。

第一与第三之间 2.4 个百分点的差距有意义吗?

单看它没有。在 206 道任务、这样的成功率下,每个分数周围的区间互相重叠,而这也正是每道任务要取三次尝试平均的原因。稳健的发现是那个天花板;头部的次序不是。

GDPx 上哪个模型最划算?

Gemini 4 Carbon,而且差距很大——前提是你把公布的成本除以完成率:每单位完成工作约 $149,对上 Opus 5.5 的 $428 与 GPT-6 Astra 的 $562。这假定一道完成的任务不论出自哪个模型都同等值钱,而且基准平均值不是生产环境的报价。

拒答会算进模型的分数里吗?

会——一道被谢绝的任务就是一道未完成的任务,而自动评分器分不出它与一个错答案。SemiAnalysis 指出安全分类器压低了部分分数,在网络安全、生物学与对齐上尤为明显,所以这些领域上的排名有一部分反映的是策略而非能力。

延伸阅读

本站内容:

  • 预算对齐评测——为什么在同等花费(而非同等名号)下比较模型,才是你想要的那个比较。
  • 批判地阅读智能体基准——为什么聚合值是整张表里信息量最小的那一格。
  • 评测方差与统计效力——一个分数周围的区间,以及为什么小差距不算结果。
  • 任务时长视野——那个用你能拿来做计划的单位表述的能力数字,以及为什么上标题的不是可部署的那个。
  • 智能体外壳——每个智能体分数都给一个模型和它的脚手架同时打分,而被点名的只有一个。
  • 拒绝与能力门禁——为什么拒答率是已部署模型身上最易变的性质。

来源: