Agentic AI 维基
AI 博客 / 轴选对了，单位选错了
AI 博客

轴选对了，单位选错了

Reflection 把「每次尝试消耗的 token 数」和基准分数画在了同一张图上——其 501B 总参数、23B 激活的开放权重模型 Beam，在 Terminal-Bench 2.1 上以约 25,000 token 拿到 80.1%，而另一个分数略高的模型约需 80,000。这条轴正是做智能体的人需要的。但随之而来的「推理计算量少 3 到 4 倍」是一个只按生成 token 估算、并且不含 prefill 的数字；在一个二十步的循环里，3 倍的简洁只兑现成 1.7 倍，而 3 倍的降价能兑现完整的 3 倍。

作者 智能体 AI 维基 23 分钟读完

这个月，Reflection 为做智能体的人做了一件没有哪家前沿实验室愿意做的事：把「每次尝试消耗的 token 数」和基准分数画在了同一张图上。它那个 501B 参数、每 token 激活 23B 的混合专家模型 Beam，被报为在 Terminal-Bench 2.1 上拿到 80.1%，每次尝试生成约 25,000 个 token；而一个得分 81.0% 的对手要用约 80,000 个。能力上落后不到一分，啰嗦程度上领先三倍。这正是任何在跑智能体循环的人一直需要、却没人发布的那个比较。而拴在它上面的那句主张——推理计算量少三到四倍——是一个只按生成 token 估算、并且把 prefill 落在外面的数字；在一个二十步的任务上，3 倍的简洁只兑现成 1.7 倍，而一次朴素的 3 倍降价能兑现完整的三倍。

概览

Beam 于 2026 年 10 月 5 日发布，是 Reflection 的第一个开放权重模型。除注明之外，下表中的每一项都是厂商自报数字，而发布时还没有独立复现。有两条保留贯穿全文：那份成绩单是在权重之前发布的，权重后来落在一个「技术报告仍标注为即将推出」的 Hugging Face 页面上；以及各家报道对那个对手的分数并不一致——有一份跟踪对比把 GLM-5.2 放在 81.0，另一张表给的是另一个数字。

项目报道数字该怎么读
架构总参数 501B，每 token 激活 23B，上下文 1M稀疏 MoE：服务成本跟着 23B 走，显存跟着 501B 走。
Terminal-Bench 2.180.1%（BF16）；FP8 78.9%；NVFP4 78.4%自报。你真会去部署的量化版本得分更低。
每次尝试的 token 数约 25,000，对比 GLM-5.2 在 81.0% 时约 80,000来自一家媒体对 Reflection 图表的读数。是量级，不是测量。
效率主张在推理上与 GLM-5.2 相当，而推理计算量少 3 到 4 倍一个估算，且其算法不含 prefill、注意力与服务开销。
许可Apache 2.0确实宽松。见 开放权重许可。
Terminal-Bench 2.1 score against tokens generated per attempt Two paired bars. On score, Beam is reported at 80.1 percent and GLM-5.2 at 81.0 percent, a difference of under one point. On tokens generated per attempt, Beam is reported at roughly 25,000 and GLM-5.2 at roughly 80,000, a difference of more than three times. Both sets of figures are the vendor's own. Under a point apart on the score. Three times apart on the tokens. Terminal-Bench 2.1 — pass rate, 100% scale Beam 80.1% GLM-5.2 81.0% Tokens generated per attempt — 100k scale Beam ~25,000 GLM-5.2 ~80,000 Scores are Reflection's own and were not independently reproduced at launch; the FP8 and NVFP4 builds are reported lower, at 78.9% and 78.4%. The token figures come from one outlet's reading of Reflection's chart, so treat them as the right order of magnitude rather than measurements.
分数上差不到一分。token 上差三倍。通常只有其中一条差距会被发布。

这条轴选对了，而且早就该有了

一个不附带预算的通过率不是可比较的数字，因为预算是框架上的一个旋钮，而不是模型的一条属性。把步数上限提高、允许更多采样、让模型想得更久，分数就会动——这正是 测试时扩展 的全部内容。于是一个只报分数的排行榜，部分是在按「每一方愿意花多少」给提交排名；这件事这个领域已经知道了一年，而图表没变。

普林斯顿的 HAL 做出了第一次认真的推动：把「每解一题的成本」与通过率并排发布，其论证见 HAL 与异步智能体评测。Reflection 这张图是另一次、而且互补的推动：每解一题的成本告诉你某次提交花了多少，而那是用「那一周谁在卖 token」决定的美元；每次尝试的 token 数则是一个物理量，它能活过一次调价。对于规划一个智能体循环来说它是更好的单位，因为 token 才是你要做预算的东西、是填满上下文窗口的东西，也是你一个一个解码地等着的东西。

所以该给的信用要给。如果这能变成一个惯例——每一个智能体分数都连着产出它的那份 token 预算一起发布——智能体评测会实质性地变诚实；原因写在 智能体框架（harness）：每一个基准数字都是对两件东西的打分，而图上只写了其中一个的名字。

然后单位错了，错了两次

第一，「推理计算量」不是你付的钱。那个 3 到 4 倍是作为估算而非测量被报道的，它由生成 token 数与激活参数推出，并把 prefill、注意力成本与服务开销排除在外。对一次聊天补全来说这是可以接受的简化。对一个智能体来说它是账单里错的那一半。模型是无状态的，所以循环的每一步都会重发系统提示、工具 schema 和到目前为止的整份记录——那套二次增长的算术在 智能体成本控制 里推过。prefill 不是一项你可以四舍五入掉的开销；在一个长的智能体任务上，它就是输入量的大部分，而输入量就是账单的大部分。

第二，一个「每次尝试 token 数」是框架的数字。它由一套脚手架、在一个基准上、由卖这个模型的那一方产出。换掉系统提示、工具集、重试策略或停止规则，这个数字就会动；这也是为什么同一个模型在两支团队手里会给出差别很大的轨迹长度。而你真会去部署的那些版本——FP8 与 NVFP4——分数被报为低了一分半，并且完全没有给出各自的 token 数字。

这两条反对都没让这张图变得无用。它们让它成为一个起点：你必须在自己的轨迹上做一遍算术，而不是把它当成一个可以直接采纳的结论。

做一遍算术：一个生成出来的 token 要被计费不止一次

Why a generated token is billed more than once in an agent loop A twenty-step loop drawn as a growing stack. A token written at step three is paid for once at the output rate, then re-sent as input on every one of the seventeen later steps. The marginal cost of a token written at step i in an N-step task is the output price plus N minus i times the effective input price. The transcript sent as input at each step prefix step 1 — the stable prefix only prefix steps 1–2 step 3 — and now the token below is written prefix steps 1–2 written at step 3 step 4 — paid again, as input prefix steps 1–2 written at step 3 step 4 step 5 — paid again …seventeen times in a twenty-step task prefix + every step so far, including the step-3 token step 20 So the marginal cost of one generated token is not its output price cost(token at step i) = p_out + (N - i) × p_in_effective At N=20 with input at $0.60 and output at $2.40 per million, a token written mid-trajectory costs about $8.10 per million — roughly 3.4× its sticker output price. Prompt caching is what collapses that multiplier.
一个生成 token 的成本，取决于它是在轨迹的哪个位置被写下的。

在一个 N 步任务的第 i 步写下一个 token，你会按输出价为它付一次钱，然后在此后每一步再作为输入付一次。边际成本是 p_out + (N − i) × p_in；在二十步、输入每百万 0.60 美元、输出每百万 2.40 美元的条件下，写在轨迹中段的一个 token 要花大约每百万 8.10 美元——约为其标价输出价的三倍半。这正是啰嗦值得去治的原因，也是治它会打折的原因。

把一个任务具体地建模一下。二十步，4,000 token 的固定前缀，600 token 的工具返回结果，输入每百万 0.60 美元、输出每百万 2.40 美元。一个啰嗦的模型每步写 1,200 个 token，一个简洁的每步写 400——正好是 Beam 那张图所称的 3 倍。

                      input tokens   output tokens      bill
verbose, 1200/step         422,000          24,000    $0.311
brief,    400/step         270,000           8,000    $0.181   1.72x cheaper
verbose, 1/3 the price     422,000          24,000    $0.104   3.00x cheaper

input = N*prefix + (write + tool)*N*(N-1)/2      N = 20
Three discounts on the same twenty-step trajectory Three columns giving the modelled bill for one twenty-step task. The baseline verbose model costs 31.1 cents. Writing three times fewer tokens brings it to 18.1 cents, a 1.7 times saving. Paying a third of the token price brings it to 10.4 cents, the full 3 times saving. Brevity passes through only part of its advantage because the prefix and the tool results do not shrink. Modelled bill for one 20-step task: 4k prefix, 600-token tool results Baseline — 1,200 tokens/step $0.311 422k input, 24k output Input is 81% of the bill, and most of it is re-read transcript. 3× fewer tokens written $0.181 270k input, 8k output — 1.7× The prefix and the tool results did not shrink, so 3× became 1.7×. 3× cheaper tokens $0.104 same 422k / 24k — 3.0× A price cut applies to every token, including the re-reads. Turn prompt caching on and brevity does better, not worse: the cached prefix stops being a floor, so the brief model's advantage widens from 1.7× to about 2.1× on the same trajectory.
两笔名义上同等的折扣。只有其中一笔作用于整份账单。

生成 token 砍掉 3 倍，账单只砍掉了 1.72 倍。原因在算术里看得见：不管模型写多少，那个固定前缀都要被重发二十次；而工具返回结果是环境的输出，不是模型的。简洁只缩小了三项里的一项。降价缩小全部三项——这就是为什么一个仅仅便宜了三分之二的模型在这条轨迹上直接赢过了那个简洁的模型：0.104 美元对 0.181 美元。

现在把提示缓存打开，设 90% 的输入以输入价的十分之一从缓存读取。啰嗦那个任务降到约 0.106 美元，简洁那个降到 0.050 美元，于是简洁模型的优势扩大到了 2.1 倍。这是那个反直觉、也是那个有用的结果：缓存拿掉了原本在稀释简洁的那道地板，于是两根杠杆是互补而非互替的。恰恰是在你的缓存命中率很高时，一个简洁的模型才值得溢价——见 提示缓存。

简洁在哪些地方是完胜的

账单是一个惜字如金的模型最弱的理由。另外三个更强，而且没有一个会出现在成本图表上。

  • 延迟。输出 token 是串行解码的。每步少三倍的 token，差不多就是每步少三倍的时间；在一个二十步的任务上，这就是「一个人愿意等的工具」与「一个人会走开的工具」之间的差别。这笔权衡在 给延迟定价 里被标了价。
  • 上下文余量。每一个被写下的 token，都会在此后整段运行里占着窗口。啰嗦的模型更早撞上压缩，而压缩正是智能体丢掉线索的地方——上下文预算。
  • 注意力衰减。有效召回在远未到达标称上限之前就开始下降，所以更短的记录不只是更便宜，它更准确：有效上下文 vs 标称上下文。

正是这三条，让这条轴即便在美元理由比看上去要弱的情况下，仍然值得变成一个惯例。这整个论点的持久版本、连同盈亏平衡规则，在 更少的 token vs 更便宜的 token。

拿 Beam 该做什么

四步，按顺序，而前两步只要一个下午。

  • 在开始挑之前，先量你自己的轨迹形状。每任务步数中位数、前缀大小、工具结果大小、每步写出的 token 数、缓存命中率。没有这五个数字，任何厂商的效率主张都无法换算成你的账单；有了它们，每一条都可以。
  • 在对齐的预算下重跑这场比较。如果一个模型需要 80,000 token 才拿到 81.0%，另一个用 25,000 就拿到 80.1%，那么在 30,000 token 的额度下，排名不会是排行榜上的排名。先设额度，再打分——预算对齐的评测。
  • 给量化版本定价，不是给头条版本。FP8 与 NVFP4 才是能装进买得起的硬件里的东西，而两者得分都更低。相关的那个分数，是你真会上线的那个制品的分数，如 蒸馏与量化 所述。
  • 在第三方分数出来之前别下注。一个智能体基准上的自报数字，是关于「一个模型加一套脚手架」的联合主张，而那套脚手架属于厂商。批判性地读基准 是那份清单。

另外，把「租还是自己跑」当成另一个问题。Apache 2.0 许可确实是一条真实的退出路径和一项真实的微调权利，但一个托管端点在服务同一份权重时，会让你拿到折扣而不必承担运维——这个分工在 开放权重 vs 闭源模型 里论证过。

常见问题

对一个智能体来说，Beam 比前沿闭源模型更值得选吗？

按已发表的证据，不是。在一个基准上自报 80.1%，它落后于若干对手，包括一个在同一测试上被报在 90% 以上的开放权重模型。有意思的主张是那份 token 预算，不是能力；而能力正是「用更少步数结束任务」的东西——那本身就是一根成本杠杆。

23B 激活参数是不是意味着它服务起来像个 23B 模型？

就每 token 的算力而言，大致是。就显存而言，不是：全部 501B 参数都必须常驻，才能路由到任何一个专家，所以硬件下限由总参数决定、吞吐由激活数决定。正是这种不对称，让稀疏模型租起来便宜、自己托管起来别扭——混合专家。

为什么 3 倍的降价比 3 倍的简洁更值钱？

因为降价作用于账单上的每一个 token，包括被重发的记录与工具返回结果；而简洁只缩小模型自己写的那些 token。在这个被建模的二十步任务里，前缀与工具结果占了输入量的三分之二，而再怎么惜字如金也碰不到它们。

那为什么提示缓存会让简洁更要紧？

因为缓存打折的，正好是简洁伸不到的那部分。一旦被重读的前缀只要十分之一的钱，模型自己的输出就成了账单里更大的那一块，于是一根把输出砍到三分之一的杠杆，就有了更多账单可以作用。在被建模的那个任务里，简洁模型的优势从 1.7 倍升到约 2.1 倍。

那个 25,000 token 的数字可信吗？

作为量级可信，但有两条保留。它来自一家媒体对厂商图表的读数，而不是一张公布的表格；而且它是由 Reflection 自己的脚手架在一个基准上产出的。拿它来决定要不要自己做一次测量，而不是把它当成那次测量。

延伸阅读

本站：

来源：