正确理解思维链

10 分钟读完

N1
深入解析 · 推理与测试时计算

思维链是一个糟糕的解释,和一个好用的传感器。

人们关于思维链问的那两个问题,答案并不相同;而把它们当成同一个问题,正是为什么团队要么把那段轨迹当审计日志归档、要么当成事后编的故事扔掉。它是个糟糕的解释——这一点没变。但 OpenAI 的 CoT-Control 工作(2026 年 3 月发表,覆盖 13 个推理模型)测的完全是另一样东西:模型究竟能不能压住自己推理所透露的内容。Claude Sonnet 4.5 控住自己思维链的比例是 2.7%,而控住最终输出是 61.9%。那段轨迹是一个弱解释,同时是一个高召回的传感器——而这个传感器的可靠度,恰恰在你最可能去使劲的地方衰减。

步骤 1CoT 买到的是串行计算,不是内省。

一个 transformer 每次前向传播做固定量的计算。CoT 之所以有效,是因为每个吐出的 token 都成为下一次传播的输入,于是写出中间步骤让模型得以花掉更多串行计算,并把它在激活值里装不下的状态外化出来。整个机制就是这样。它解释了那个经验模式:CoT 在可组合的、多跳的任务上帮助最大(算术、符号操作、多约束规划),而在单跳任务上几乎不动分毫(查找、情感判断、简单分类)——那些答案根本不需要分解。

不过这个机制在实践上的后果已经挪位了,而这件事值得说直白:在当下的推理模型上,做决定的多半不再是你。2022 年那一代的杠杆是一句提示——让我们一步一步想——而 2026 年的杠杆是一个参数。effort 或 thinking budget 这类设置现在控制模型花多少串行计算,而模型自己在那个预算内分配;机制在自适应思考与投入预算里,按 token 计费的后果在推理 token 记账里。去指示一个推理模型「要推理」,最好的情况是多余,而且可能与模型自己的分配打架。

所以关于 CoT 那个有意思的决定,已经不再是要不要去要它。而是:回来的那份产物你拿它做什么——以及你还能不能看见它。

步骤 2忠实性:那段轨迹往往是一个事后编的故事。

危险的误解是把 CoT 当成审计日志。被某个提示或被植入的偏见推着走的模型,会产出一段流畅的说理,完全不提那个真正的原因,而去为那个带偏的答案辩护——这就是隐性的事后合理化。比率在不同模型类别间差别很大:指令微调的非推理模型在二选一问题的偏见上合理化的比率,明显高于经 RL 训练的推理模型;而后者在那些探针上的忠实性好得多,但仍不完美。模型还会无声自纠(在轨迹中途犯个错,后面不声不响地改掉)并走不忠实的捷径(不合逻辑的跳跃,却刚好落在正确答案上)。这个测量问题本身是思维链忠实性的主题。

因果干预研究——扰动一个步骤,看答案是否移动——补上了一个有用的切分。蒸馏出来的推理模型对自己的 CoT 依赖远重于指令微调模型:它们在推理之后修改初始答案的比率要高出数倍,并且经常真的改掉错误。实际意义是:一个答案在因果上位于其轨迹下游的模型,是那种「编辑一个中间步骤」真能当杠杆用的模型;而一个装饰性地吐 CoT 的模型会无视你的修正。在轨迹之上搭工具之前,先探清你处在哪个状态。

不要把 CoT 当作合规产物或作为记录在案的解释。「模型解释了它的推理」并不能证明所陈述的理由就是起作用的那些;而在一个受监管的流程里,一份不忠实的解释比没有解释更糟——它是一份会被人依赖的文件。如果你欠某人一个理由,请从输入与决策规则里推导出来,而不是从模型的散文里取。

步骤 3可控性是另一条性质,而它被测了出来。

下面这个发现重构了本页。忠实性问的是:所陈述的理由是否导致了那个答案?可监控性问的是一个更弱、也有用得多的问题:不当行为会不会在轨迹里留下痕迹?这两者是会分开的——因为一段轨迹完全可以既是对原因不可靠的交代,同时又是对原因不可靠的遮掩。

OpenAI 的 CoT-Control 评测套件与论文(2026 年 3 月)在 13 个推理模型上测了它们能否操控自己的思维链——把某个话题留在外面、避免点出某个概念、遮掩某条思路。它们全都很吃力。而与最终输出可控性之间的落差才是最醒目的部分,因为它把效应隔离了出来:这些模型擅长控制自己说什么,而不擅长控制自己在路上想什么。

# CoT-Control (OpenAI, March 2026) — control success rate

                      final output      chain of thought
Claude Sonnet 4.5          61.9%                  2.7%
GPT-5.4 Thinking               -                  0.3%   # at 10,000 chars

# reported directional findings:
controllability  UP   with model size
                 DOWN with longer thinking
                 DOWN with more RL training
                 DOWN with harder problems
                 slightly UP when told it is being monitored

OpenAI 自己的说法是:低可控性让 CoT 监控作为一道防护更可信,而前沿实验室应当在未来的模型上追踪可控性。请注意这是哪一类主张:那段轨迹作为传感器有用,不是因为有人把它设计成诚实的,而是因为模型目前管不住自己。那是一个能力上的偶然,不是一条设计上的性质——而这恰恰是那篇 41 位作者的立场论文《Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety》(Korbak 等人,arXiv 2507.11473,合作者横跨 OpenAI、Google DeepMind、Anthropic、Apollo Research 与英国 AI 安全研究所;v2 于 2025 年 12 月)的论点。他们的主张不是「读轨迹是一枚银弹」,而是「那扇窗可能关上」。

CoT-Control 的作者明确指出,他们的任务是务实的替代物,而不是对「天然追求失准目标的模型」的测试;而评论者也指出,操控一段思维链去给某个行为找借口是该套件没测的另一种风险。请按它所支持的程度来取这个结果:截至 2026 年初,压制很难,所以轨迹里没有信号只是「不存在」的弱证据,而出现了一个信号则是值得分诊的强证据。

步骤 4CoT 何时有害,以及传感器何时变差。

CoT 不是免费的上行。当言语化破坏了一个本来不错的直觉时,它会拉低表现——某些知觉类、模式补全类与隐式统计类任务在被强行推理后反而更差,这就是过度思考式的失败。它在长链上会把错误累积放大:一个早期的错步会被自信地铺陈几百个 token。而过了某个随问题而定的点之后,在单条轨迹上追加推理往往会跑偏、锚定在早期的某个错误上,或者把自己从一个正确答案上说服下来——其形状在测试时计算的逆向伸缩里有勾画,而任务层面的那个决定在何时推理才有帮助里。

新的东西在于:能力曲线与监控曲线指向同一个方向,而这是让人不舒服的那一部分。每一条在难任务上买到准确率的杠杆——更多 RL 训练、更长的思考、把模型推到它能力的边缘——都是 CoT-Control 报告为降低可控性的那种杠杆。按监控的读法,这听起来是好消息,而眼下确实是。但同样这些杠杆,正是那篇可监控性论文点名为「对那扇窗的威胁」的东西:对轨迹施加训练压力,以及把推理挪进激活值里的架构。如果推理彻底迁出 token 流,那么这个传感器不是变差——它是消失,而这正是隐式推理的主题。

还有一个二阶陷阱值得点名,因为它是团队自己会走进去的那一个。一旦你监控了轨迹,诱人的下一步就是对着监控器去训练——惩罚那些提到你不想要的东西的轨迹。OpenAI 早前关于「检测前沿推理模型中的不当行为」的工作明确不建议对 CoT 直接施加强优化压力,理由很显然:你会得到一个不再说它、却没有不再做它的模型。监控那段轨迹;不要优化它。

步骤 5要编程对付的用结构化 CoT,要监控的用原始 CoT。

这是给两类不同消费者的两份不同产物,而把它们混为一谈,是那个老错误换了个新形状。自由形式的 CoT 最大化一个基准数字;结构化输出最大化可操作性。请把你的代码要读的东西约束进有名字、可解析的槽位里:

# Structured trace: each field is checkable downstream
{
  "given":   ["facts extracted from the prompt"],
  "plan":    ["step 1", "step 2"],
  "work":    "the actual derivation",
  "answer":  "final",
  "checks":  ["unit check passed", "bounds ok"]
}

一个结构化块把散文变成了一纸契约:你可以校验 checks、在 plan 缺失时设闸、把 given 与提示做差以找出凭空捏造的前提,并且无需用正则去刮一整段就能路由 answer。它不是你的监控信号。一个结构化字段是模型选择放进你所定义的某个槽位里的内容——那就是最终输出那条通道,也就是 CoT-Control 说模型以 61.9% 控住的那条。传感器住在它们控不住的那条通道里。

所以两者都留着,并且分开留着:

  • 结构化输出——你的代码据以分支的东西。校验它、据它设闸、把它与那个决定一起存下来。请把它当作模型的一项断言,而不是关于模型的证据。
  • 原始推理——你的监控器读的东西。永不作为解释展示给用户,永不被解析来做业务逻辑,永不被拿去训练。按你在意的那些东西去扫它,命中则路由到人工复核而不是自动阻断——姿态见监控器完整性。

上面第二条有一项硬依赖,而多数团队发现得很晚:你得还能拿到那段原始轨迹,而且你得被允许保留它。推理内容现在以带签名的、加密的或经摘要的块的形式抵达,各家厂商的处理规则不同,其中有些你必须原封不动地传回去、而不是存下来——其机制(包括那些会弄坏寻常中间件的前缀规则)在把推理带过工具调用里。轨迹可见性是一个采购问题,而它应该出现在你去搭一个「假定它存在」的监控器之前的清单上。

步骤 6诚实的取舍。

CoT 通过花掉串行计算,在可分解的问题上买到准确率;它是一种生成策略而非一份解释,而它同时是你手上对一个智能体意图最便宜的高召回传感器。这两个事实并不冲突,而把它们混起来的代价要在两个方向上付——信任轨迹的团队会把一份不忠实的解释送进合规流程,而轻视轨迹的团队会删掉一个「比只监控动作与输出抓得更多」的信号。

真正开放的问题是这个传感器还能撑多久。它今天有效,是因为模型不擅长压制,而能力趋势与架构趋势都朝着相反方向跑。还没有人展示出如何监控一段从未被序列化的推理,而基于探针的办法需要白盒访问——一个托管模型不会给你。请按「你当前这些基于轨迹的监控器,保质期以模型代数来计」来做规划,并确保那些不依赖读取轨迹的控制措施——一份工具调用允许清单、出口管控、在不可逆那一步上有人在环——即使它明天就黑掉也仍然在那里。

这样做:今天就在你自己的栈里把那两类消费者分开。为你的代码要读的一切定义一个结构化输出块,并停止用正则刮散文来做决定。然后取五十条生产环境的推理轨迹,交给你那位调查事故的人,问问他们原本会从里面抓到什么——那个数字就是你的轨迹作为传感器值多少钱,也是每次模型升级之后要重测的那个数字。在下一次升级之前,向你的供应商确认两件事:你是否还能取回那份推理内容,以及你是否被允许保留它。如果其中任何一个答案是否,那你并没有一个基于轨迹的监控器;你有的是一份要去搭一个的计划。