推理 vs 非推理模型

E5
概念 · AI 模型与工具生态

推理模型 vs 非推理模型。

「推理模型」已经不再是一个你挑选的东西,而变成了一笔你花出去的预算——而这笔预算在你看见它之前就已经花掉了:在每一家主要厂商那里,思考 token 都按输出价计费、都算在与答案同一个输出上限之内,而且在账单到来之前都看不见。于是设计问题不再是买哪个模型,而是你的循环里哪些步骤被允许思考——而答案远比默认设置所设想的要少得多。

步骤 1「推理」在机制上的含义,以及它的代价。

非推理(「直答」)模型读完提示就立刻开始吐出答案。推理模型会先生成一段内部的中间 token 链——探索方法、做子步骤、自我检查——之后才吐出可见答案。这段中间流被称为思考、推理或草稿 token。它在 API 中通常被隐藏或被摘要,但它是真实的生成,而由此引出的三个后果,决定了你今后关于它的每一场成本讨论:

  • 思考按输出价计费。在 Anthropic、OpenAI 与 Google 那里都一样:推理 token 的价格就是补全 token 的价格,不论你是否被展示了它们。被隐藏并不打折。
  • 思考与答案共用那个输出上限。你的 max_tokens 上限两者都管,于是产生了最常见的那个初次接触 bug:一个把输出上限设得很紧的请求返回了空响应——因为预算被思考吃掉了,没剩下什么可说的。Anthropic 的扩展思考历来要求思考预算严格小于 max_tokens、下限约 1,024 token,正是因为这个原因。
  • 这笔支出事先无法知晓。在你设定的任何上限之内,由模型决定想多久。你可以给它定界;你无法按请求预测它——这正是为什么推理成本在你的账单上表现为一个变量,而在你的定价模型里是一个常量。

核心想法是推理期算力:在出答案时为每个问题花更多计算,而不是更多参数或更多训练。它在概念上与提示一个普通模型「一步步想」是同一种效应,但它被训练进去了,且能力强得多——模型已学会产出长而有产出的轨迹并加以利用,而不是依赖一个提示技巧。

步骤 2这个类别已经塌缩成一个旋钮,而这个旋钮有三套说法。

早期,提供方发布与其「对话」模型分开的独立「推理」家族,你二选一。截至 2026 年 10 月,这条界线已经没有了:同一个模型可以多想、少想或完全不想,由请求上的一个参数控制。思维模型从「挑那个推理模型」转为「决定这个请求被允许想多少」。

每家厂商都认同这个想法,而没有一家拼法相同;你在教程里能找到的 2024–2025 年示例都已经过时:

  • Anthropic 从显式的 token 预算转向了自适应 effort。budget_tokens 在 4.6 这一代被弃用,在 4.7 及之后被直接拒绝;替代方案是 thinking.type: adaptive 配 effort: low | medium | high。
  • OpenAI 暴露的是 reasoning_effort,在 low 之下还有一档 minimal。
  • Google 在 Gemini 上用的是思考预算,近来以 thinking_level 表达。

有两个在生产里会咬人的坑。第一,当模型自己的信号说它需要更多时,它可能把你的预算往上推翻,所以一个 effort 设置是一个带上限的提示,而不是一个硬帽子——自适应思考与 effort 预算逐厂商讲清了这种推翻行为。第二,三家厂商用三种互不兼容的形状上报推理用量,于是那个显而易见的跨厂商成本公式会错——而且朝相反方向错,取决于你把它指向谁;推理 token 记账就是那一步归一化。

步骤 3思考更多并非单调更好,而那些例外恰恰是智能体形状的。

「effort 越高就越慢、越贵、越稳」这个直觉,错得足够频繁、足以要紧。存在可识别的任务族,在那里准确率随推理长度上升而下降——而它们并不冷门。它们是:一条塞满了不相关检索文本的提示;一个显而易见的特征恰恰是误导性特征的判断;以及一长串需要同时抱住的约束。这些正是智能体工作真正呈现的形状,也正是为什么 effort: high 是一个按任务形状来做的决定,而不是一个合理的默认值。测试期算力的逆向缩放是完整论述;也有公开工作发现,扩展思考在朴素算术上并不能可靠地提升准确率。

关于这个旋钮何时划得来,诚实的总结是:

  • 划得来。多步数学、逻辑与规划、复杂的代码生成与审查——凡是模型能从「探索并否决方案后再落笔」中获益、且答错代价昂贵之处。
  • 浪费。事实查询、分类、抽取、路由、简短对话回复。没什么可推理的;额外的 token 是纯粹的成本与延迟。
  • 有害。上面那些逆向缩放的族,再加上任何「校准良好的直答胜过被自我怀疑过一遍的答案」的场合。

可见的轨迹并不是「答案如何得出」的忠实说明。它提升准确率,也是一个有用的调试信号;而把它当作模型真实过程的审计日志是一个已知错误——见思维链的忠实性。而未来这条轨迹可能干脆就不在了:潜在推理靠「不把思量写下来」来换取效率。

步骤 4在智能体循环里,这个旋钮是逐步设置的——下面是那笔算术。

上面的一切,在你把它放进一个循环之前都不要紧;而在循环里,乘数是步数。拿一个二十步的智能体任务,并保守假设中档 effort 比直答每步多出 800 个思考 token。整个循环都把旋钮开着,你就为每个任务买下了 16,000 个计费输出 token。把它只放给真正在规划的那两步——最初的分解,以及一次工具出错后的那一步恢复——你买下的是 1,600 个。同一个模型、同一个任务、推理那一项成本减少 90%,而在大多数工作负载上没有可度量的准确率损失——因为被关掉的那十八步是工具选择与结果串接,那是分派、不是思量。

这就是这个概念全部的实操内容。把预算匹配到步骤:

  • 路由与工具选择:最少或关掉。你要的是快速、可预测的分派,而在这里并行工具调用比深度更要紧。
  • 分解,以及失败后的恢复:给足。这正是它物有所值之处。
  • 最终合成:适中或关掉,取决于合成本身是否困难。

还有两个循环层面的机制,容易弄错而且发现得很贵。推理现在必须被交还:在当前的模型上,推理块是一个你必须跨工具调用原封不动返回的、带签名的不透明输入,于是那些会重建消息列表的普通中间件会无声地把它删掉、或者招来一个 400——把推理带过工具调用是你在动手调试之前就该读的那一篇。另外,由于思考 token 既占账单也占上下文窗口,一个高 effort 的循环会吃掉你本来留给检索文档的那份上下文预算。

值得采用的默认值:到处都把 effort 关掉,然后对着你自己的评测集一步一步往上调,并且以「每美元的准确率」而不是「准确率」来度量。某一步在浪费思考,这个标志在轨迹里看得见——它在复述问题或漫谈,而不是在做子工作。然后去做那件几乎没人做的事:在下一次模型升级时把那套评测重跑一遍——因为一套在某一代上调好的 effort 策略并不可移植,而逆向缩放带来的回退,对一个只在单一 effort 档上跑过的评测来说是看不见的。

相关:推理何时有帮助给出完整的决策流程,成本、质量与延迟是它所处的那个三方权衡,智能体成本控制讲推理在其他杠杆之中的位置,而如何选模型给出按任务的检查清单。