一个「全世界最好的模型只做完 12% 的活儿」的基准,不是在告诉你该买谁。它是在告诉你:这份工作眼下还没人做得了——而 SemiAnalysis 新发布的 GDPx 榜单上,唯一一列差距大到足以改变决定的,是以美元计的那一列:把成本除以完成率,第二名的单价大约只有第一名的三分之一。
GDPx 是什么
SemiAnalysis 于 2026 年 11 月 2 日发布 GDPx,署名 Max Kan、Andrew Megalaa 与 Dylan Patel。它试图测量的是长时程的专业工作,而不是考试题:206 道任务横跨 11 个专业领域,与 14 家数据合作方共同搭建,单道任务最长可跑八小时,每道任务的分数都取三次尝试的平均。
| 模型 | 得分 | 每题成本 | 备注 |
|---|---|---|---|
| Claude Opus 5.5 | 12.0% | $51.41 | 总榜第一;每题约 548,000 个输出令牌。 |
| Gemini 4 Carbon | 10.9% | $16.29 | 第二;据报道尚未普遍可用。 |
| GPT-6 Astra | 9.6% | $53.99 | 第三,也是这三者中最贵的。 |
| GLM 5.3 | 2.7% | — | 已公布集合中名次最高的开放权重选手。 |
一条出处说明。这里的数字来自公开榜单,取自发布后两周内大量相互独立的报道,而不是直接读 SemiAnalysis 的方法论文章——它们在各来源之间是一致的,而这就是能诚实主张的全部。请把精确到小数的那些数字当作可引用的,把按领域的细节当作近似的。
在 12% 的天花板下,2.4 个百分点的差距不构成一份排名
先看这张表的头部能支撑什么、不能支撑什么。第一到第三是 12.0% 到 9.6%。在 206 道任务上,2.4 个百分点的差别大约相当于五道任务的结果,而每道任务的分数本就已经是三次尝试的平均——因为单次尝试噪声太大、根本不能用。评测方差的那套算术对这个量级的差距并不客气:在这个数据集规模与这个成功率下,每个分数周围的区间与邻居绰绰有余地重叠。
所以「Opus 5.5 是最好的智能体模型」是这张榜单并没有真正提出的主张,而作者自己那个取平均的做法就是证据。它确实稳健地确立的,是那个天花板。每一个闭源前沿模型都低于 13%,而名次最高的开放权重选手在 2.7%。这是一个关于任务类别的陈述,而它才是有用的那个——因为一个 12% 的天花板说出了任何排名都说不出的事:对这些活儿而言,无人值守的智能体还不是一件产品。可部署的那个数字在任务时长视野里,不在头条上。
不过,对「天花板低」有一种读法值得抵制。一个新基准分数低,部分正因为它是新的——还没有东西针对它训练过、还没有东西漏进训练集,而这些任务是与合作方一起搭的、不是爬来的。诚实的对照不是「这里 12% 对编程基准上的 70%」,而是「在未受污染的八小时专业工作上 12%」;而该配着读的是基准污染,那才是那些熟悉数字看起来更漂亮的原因。
成本那一列才有真正的差距,而它把排名翻了过来
与分数一同公布的是平均每题成本,而它恰好有分数所缺的那种差距:Gemini 4 Carbon 为 $16.29,对上 Opus 5.5 的 $51.41 与 GPT-6 Astra 的 $53.99。这是成本上 3.3 倍的跨度,对上质量上 2.4 个百分点的跨度——这本身就已经告诉你,你的决定住在哪根轴上。
做一下榜单没做的那次除法,它会更锋利。那些美元数字是所有尝试(成功的与失败的)的平均——所以用平均成本除以完成率,得到的是「每单位真正完成的工作」要多少钱:
- Gemini 4 Carbon——$16.29 ÷ 0.109 ≈ $149
- Claude Opus 5.5——$51.41 ÷ 0.120 ≈ $428
- GPT-6 Astra——$53.99 ÷ 0.096 ≈ $562
按每单位交付的工作算,质量榜首大约是第二名的 2.9 倍贵,而第三名是第二名的 3.8 倍。排名翻转了,而翻转只用到了榜单自己公布的数字。
关于这段算术有两条诚实的保留,因为这正是那种会被人截图的计算。它假定一道完成的任务不论出自哪个模型都同等值钱,而在这么复杂的工作上这是一个实打实的假设——一个落在难任务上的 12%,与一个落在易任务上的 10.9% 并不等价。而且基准平均值不是报价:你的工作负载不是 GDPx,Carbon 据报道尚未普遍可用,而标价是会动的。在这两条保留之后仍然站得住的,是这件事的形状。当质量差异落在噪声之内、而成本差异是成倍的,那这个决定就是一个成本决定;而跑这个比较的正确方式是在对齐的预算下、而不是在对齐的模型下——这就是预算对齐评测的全部论点,也是 GDPx 让这件事格外容易做的原因:它把美元公布了出来。
两个领域得了零分,而那是另一类结果
在原定的二元判分之下,金融与法律任务让集合里每一个模型都得了零分,这正是 SemiAnalysis 改为对这两个领域报告平均部分得分的原因。而那些有赢家的领域,赢家各不相同——量化交易、硬件与芯片设计归 Opus;生物学以及(以微弱优势)软件工程归 Carbon;递归自我改进与材料科学归 Astra。
这个格局比总分那一列更要紧。一个出现普遍零分的领域,报告的不是厂商之间的能力差距;它报告的是任务定义与模型根本还没有接上,而在那里换模型改变不了你的答案。一个有明确赢家的领域是一个真实信号,而它是按领域的——这意味着人人引用的那个总平均,是在十一个专业上做的一次混合,而其中最多一两个像你的工作。这就是批判地阅读智能体基准里讲的那个标准失误:聚合值是整张表里信息量最小的那一格,也是唯一一格塞得进标题的。
那次换成部分得分的替代,也值得一句告诫。恰恰在二元判分返回零分的那两个领域里把二元判分换成部分得分,作为可读性上的编辑选择是合理的,但它让这两个领域的数字与其余九个不可比。不要把它们平均在一起。
拒答计为失败,于是这张榜单排的有一部分是拒答策略
SemiAnalysis 指出,安全分类器压低了部分模型的分数,在网络安全、生物学与对齐类任务上尤为明显。机制上这是无从避免的:如果一个模型谢绝了一道任务,这道任务就没完成,而自动评分器记下的零分,与一个错答案得到的零分完全一样。
后果是:在那些领域上,两个模型之间差距里有某个未知的部分是部署策略之差、而非能力之差。这不是对基准的抱怨——一个「活儿干不成」的买家并不在意为什么——但它改变了这个数字预测什么。拒答行为是一个已部署模型身上最易变的性质,在小版本之间被重新调过,而且 API 与消费级产品之间也不一样;更长的论证在拒绝与能力门禁里。一份能力排名本该在一个模型版本的整个寿命里保持稳定。而一份把拒答率包在里面的排名,只能和厂商当下的策略一样稳定。
实践指令是:在任何与安全有重叠的领域上,先要求把拒答与失败分开报告,再把分数当作能力来看。如果外壳分不开这两者,那是外壳的性质——而正如智能体外壳所论证的,每个智能体基准分都同时给一个模型和它所在的那层脚手架打分,而被点名的只有其中一个。
该从它身上拿走什么
三件事,而第一件最可能被跳过。
用天花板,而不是用排名。可迁移的发现是:在未受污染的多小时专业工作上,眼下最好的模型大约是「八道里做成一道」。这是一条支持「把智能体的范围收到人会复核的那些步骤上」的论据,也支持在你自己的任务上量出你自己的视野、而不是继承别人的。
把那次除法做掉。任何一张在分数旁边公布了成本的榜单,都让你算得出「每单位完成工作的美元数」,而大体上只要分数差距小,这个数字的排名就与分数的排名不同。它只是一行算术,而且这正是你的财务团队反正都会来要的那个数字——框架见智能体单位经济:每成功任务成本的可信度,只等于那个判定成功的验证器的可信度。
先读领域那一列,再读总分。在十一个领域里找出那一两个像你工作负载的,然后忽略平均值。如果你的领域正是得了零分的那两个之一,那这份基准给你的答案是:这眼下还不是一个选模型的问题。
常见问题
GDPx 基准是什么?
SemiAnalysis 于 2026 年 11 月 2 日发布的一个长时程智能体基准:206 道任务横跨 11 个专业领域,与 14 家数据合作方共同搭建,任务最长可跑八小时,每道任务取三次尝试的平均分。
GDPx 上是哪个模型领先?
Claude Opus 5.5,12.0%;其后是 Gemini 4 Carbon 的 10.9% 与 GPT-6 Astra 的 9.6%。已公布集合中名次最高的开放权重选手是 GLM 5.3,2.7%。
为什么最高分只有 12%?
因为这些任务是多小时的专业工作而不是考试题,也因为这个基准是新的,还没有东西针对它训练或调优过。一个崭新、未受污染的集合上的低分,与一个人人熟知的集合上的高分并不能直接相比。
第一与第三之间 2.4 个百分点的差距有意义吗?
单看它没有。在 206 道任务、这样的成功率下,每个分数周围的区间互相重叠,而这也正是每道任务要取三次尝试平均的原因。稳健的发现是那个天花板;头部的次序不是。
GDPx 上哪个模型最划算?
Gemini 4 Carbon,而且差距很大——前提是你把公布的成本除以完成率:每单位完成工作约 $149,对上 Opus 5.5 的 $428 与 GPT-6 Astra 的 $562。这假定一道完成的任务不论出自哪个模型都同等值钱,而且基准平均值不是生产环境的报价。
拒答会算进模型的分数里吗?
会——一道被谢绝的任务就是一道未完成的任务,而自动评分器分不出它与一个错答案。SemiAnalysis 指出安全分类器压低了部分分数,在网络安全、生物学与对齐上尤为明显,所以这些领域上的排名有一部分反映的是策略而非能力。
延伸阅读
本站内容:
- 预算对齐评测——为什么在同等花费(而非同等名号)下比较模型,才是你想要的那个比较。
- 批判地阅读智能体基准——为什么聚合值是整张表里信息量最小的那一格。
- 评测方差与统计效力——一个分数周围的区间,以及为什么小差距不算结果。
- 任务时长视野——那个用你能拿来做计划的单位表述的能力数字,以及为什么上标题的不是可部署的那个。
- 智能体外壳——每个智能体分数都给一个模型和它的脚手架同时打分,而被点名的只有一个。
- 拒绝与能力门禁——为什么拒答率是已部署模型身上最易变的性质。