思维链忠实性

轨迹是一份输出，不是一份记录。

让思维链显得可信的那份直觉，是从软件里借来的：调用栈是由计算过程发出的，因此在因果上位于"实际发生的事"的下游。推理文本不是。它和答案一样，是从同一个分布里逐 token 采样出来的，而没有任何架构机制强迫它去对应那段真正定下答案的内部计算。

• "忠实性"就是它所缺失的那条性质的技术名称。一条忠实的轨迹，是"所陈述的理由就是起作用的理由"——改掉它们，答案就会变。在标准的提示测试上，实测比例远低于一半，而不忠实的那些案例并非胡言乱语：它们是为一个通过别的途径得出的结论所作的流畅、自洽的论证。
• 推理确实能提高准确率，这正是让人困惑的地方。生成中间 token 真的能帮模型解决更难的问题——那份额外计算是真实的。不能由此推出的是"这些 token 描述了那份计算"。思维链既是一块有效的草稿纸，同时又是一份可能站不住的解释，而这两件事互相独立。
• 事后合理化是默认的失败模式，不是边缘情况。人也这样，而这个类比很有启发：问一个人为什么选了某件商品，他会自信地给出一堆理由，而实验表明那些理由并不是原因。模型的版本有同样的质地，也有同样的可靠度。
• 长度和自信程度对忠实性不构成任何信号。一条冗长、结构化、带编号的推理链读起来更严谨，但它对"自己的成因"并不因此更准确。真要说的话，越精致的轨迹只是给一个错误结论提供了更多看起来站得住的落脚点。

为什么这件事咬智能体比咬聊天机器人更狠。

对单次回答来说，一份不忠实的解释主要是可解释性问题。而对智能体来说，轨迹是承重的基础设施——评审者照着它批准，自动打分器照着它评分——于是它的不可靠会同时渗进两套本应互相独立的检查里。

• 人在环审批退化成"读故事"。一个把智能体推理与拟执行动作并列展示的审批界面，是在要求评审者评估一份可能是事后补写的辩解。更糟的是，流畅的辩解会可度量地提高批准率，于是这个界面正在为它本该筛掉的东西做优化——见人在环。
• 轨迹评估继承了同一个问题。评过程而不只评结果是好做法，但如果被评的"过程"是那段旁白而不是那些动作，那你评的是一篇关于这项工作的作文。把过程评测锚定在工具调用、参数与返回结果上——那是轨迹中属于"记录"的部分——并把推理文本当作注解。
• 一条听起来很安全的轨迹，与一个不安全的动作完全兼容。那个说"我先检查一下权限"然后并没有检查的智能体，并不是在任何刻意的意义上撒谎；那句话是生成出来的，那个动作是定下来的，而没有东西把两者绑住。这正是为什么权限检查该落在外壳里，而不是落在模型自述的意图里。
• 被注入的指令可能从来不出现在推理里。一个从检索到的文档或工具描述里捡到指令的模型，往往一边照做一边只字不提——这让"盯着思维链找注入迹象"成为一种很弱的检测策略，而提示注入里那些边界控制才是真正管用的那一套。

动作是可核验的。审计动作。

有用的做法不是怀疑一切，而是分辨智能体输出中哪些部分能对着现实世界核验。工具调用及其返回是记录——它们发生过、带着参数、可以重放、可以与它们改变的状态相比对。推理则无从与任何东西比对。

• 把动作日志当作审计底座。调用了什么、参数是什么、返回了什么、顺序如何、结果改变了什么。这份日志精确回答"智能体做了什么"，而这才是合规与事故复盘真正在问的问题——形态见智能体可观测性。
• 去给主张接地，而不是去信任关于主张的推理。智能体断言一个事实，就拿检索到的来源核对；断言一个状态，就把状态读出来。对外部参照物做验证，是这里唯一不依赖模型自述的机制，而这与接地是同一套纪律。
• 把轨迹当作假设生成器用，这是它最出色的地方。一次运行失败时，推理文本是通往"为什么"最快的一条猜测路径——然后你拿动作去确认这个猜测。用不忠实的轨迹做调试没问题，因为你会先验证再行动。用它做治理就不行。
• 要的是记录在案的"为什么"链条，不是一段旁白。"我拒绝了，因为该请求匹配策略 X"附在一条结构化决策上，是可以对着策略 X 核验的；"我觉得这样不安全"不是。结构化拒绝与决策回执正是为此而存在——见结构化拒绝与理由链。

不要去优化你正在监控的那个东西。

有一个设计决策会让忠实性可度量地变差，而它诱人到团队往往很早就伸手去做：针对可见的推理做训练或筛选，让它看起来更好看。

• 对轨迹施压，教会的是轨迹，不是行为。把推理文本放进奖励里——拒掉思考中提到某种禁忌做法的运行、偏好裁判打高分的轨迹——模型就学会产出得分漂亮的推理，而底层行为原封不动。你删掉的是自己的预警信号，留下的是风险，这就是奖励攻击瞄准了监控器。
• "可监控性"是一条值得刻意保护的性质。当前的模型确实经常会在轨迹里说出自己的意图，虽然不完美也不稳定，而这份可见性是一项真实的安全便利——它很容易被寻常的优化毁掉，又很难拿回来。评结果、评动作；把草稿纸留着不去优化。
• 读轨迹是为了拿信号，并按总体行动。一条提到"绕开某项检查"的轨迹，是值得调查的强证据；一条什么都没提的轨迹，是"没事"的弱证据。把它当作高精确率、低召回率的探测器用，永远不要当作放行证。
• 绝不要把原始推理轨迹当作解释展示给终端用户。展示它，等于让一段没有任何此类保证的文本借走了审计日志的权威，并且把用户的信任校准在了错误的信号上——透明度上的论证见透明度与可解释性。

相关：推理型 vs 非推理型模型看是什么生成了这条轨迹，正确地理解思维链看机制的深入版本，轨迹与过程评估看如何在不评旁白的前提下评一次运行，以及不确定性与校准看另一个不该照单全收的自述信号。