透明度与可解释性

9 分钟读完

H3
实战手册 · 智能体体验与人机交互

你已经没法把推理展示出来了,因为 API 不再给你一份推理。

「该不该把智能体的思维链显示给用户」这场设计争论,2026 年由厂商替你裁定了,而且是反着裁的:截至 2026 年 10 月,各家主要推理 API 返回的隐藏推理都是一份你必须原样回传、却读不了的加密载荷,外加一份由另一次独立生成产出的、可选的人类可读摘要。于是你的界面能展示的东西已经不是一份轨迹,而是厂商对一份轨迹的转述——与真正的计算之间隔了两道无从验证的跳跃。这让「可核查」那一层透明度成了你唯一掌控的一层,而好消息是:这一层全部由你自己的框架生成——准确的工具调用、真正跑过的查询、将要应用的 diff、被引用的那段原文。

步骤 1从 API 实际返回的东西出发,因为它并不是设计讨论所假定的那样。

大多数关于透明度体验的文字,仍假定你手里有一串推理文本、并且有权选择是否渲染它。在围绕这个假设做设计之前,先去看一眼各家当前的文档。截至 2026 年 10 月:

  • Anthropic 返回的 thinking 块,其 signature 字段承载的是加密后的推理内容,而可读的那部分由一个模式决定——文档写明 summarized 是 Claude Opus 4.6、Claude Sonnet 4.6 及更早模型上的默认值;另有一个 omitted 模式,返回的 thinking 块里 thinking 字段为空。文档要求你在多轮与工具调用会话中把这个 signature 原样回传。
  • Google 返回一个加密的 thought signature,被描述为模型内部推理的一种表示,用于在多轮之间维持推理连续性;在无状态用法下,文档称你必须把所有 thought 块按收到时的原样重新发回。而 thought 摘要可能返回为空,取决于配置、模型实际推理了多少,以及内容类型。
  • OpenAI 把 reasoning 条目加密返回,经由一个 reasoning.encrypted_content 字段暴露。

三重后果一起落下,而被广泛注意到的只有第一重。你没法渲染那份轨迹。那份可读摘要是一个不同的产物,由一个独立过程生成,而它对隐藏推理的保真度,没有任何厂商公布过测量结果。还有,那个不透明的数据块如今是你请求载荷里的必需部分,这让它成为一个带处理规则的运维对象——见 STEP 4。

不要在界面里把厂商摘要标注成「智能体的推理过程」。它是对一样你看不见的东西的摘要,而这个标签替用户做出了一项因果断言,而你和厂商都没有支持它的证据。如果你要渲染它,就如实称之:一段模型为自己的思考所写的摘要。

步骤 2解释与计算之间,如今有三道缺口,而不是一道。

原本的问题就已经是两面的。可信度是指一段解释读起来是否合情理;忠实度是指它是否反映了产出该输出的那个计算。Barez 等人《思维链不等于可解释性》(牛津,2025)以及更广泛的忠实度文献表明,二者会严重脱节,而模型会可靠地给出看似合理的说理,而真实成因是它从未提到的一处提示线索。用户完全感知不到忠实度——一段流畅的说理感觉就是忠实的——所以一段「有说服力但不忠实」的解释,是一台过度信任的生成器。这仍是核心风险,而思维链忠实度就是它的概念页。

2026 年的 API 形态,在原有两道缺口之前又插进了第三道:

  • 缺口 1——摘要到轨迹。摘要是由隐藏推理经另一次生成得出的。压缩是有损的,而没有厂商公布过保真度数字。
  • 缺口 2——轨迹到计算。2026 年之前的忠实度问题,丝毫未减。那份隐藏轨迹本来也不是一份因果说明。
  • 缺口 3——计算到行为。模型吐出的那些 token,并不构成「决定了它做出那次工具调用」的全部。

把三段未经验证的映射串起来,产出的不是一段弱解释,而是一段与任何东西都没有已确立关系的叙事。请把它当成你自己调试时形成假设的辅助,而绝不要当成评审者应当纳入权衡的证据。如果你真需要知道模型为什么那样做,诚实的答案是行为学的与机理学的,而不是内省的——见可解释性与探针;另请注意,评估一个你只能调用的智能体里的反事实探针,就是把同一套技法对准你自己的栈。

步骤 3自己把可核查那一层造出来——它是唯一没有厂商能收回的部分。

按「能被独立核查的程度」给解释类型排序,并注意每一类是谁产出的:

  • 最强——有外部依据,且由你的框架生成。准确的工具调用及其原始返回、真正跑过的那条 SQL、将要应用的 diff、带文档 id 与时间戳的被检索原文。这些都是关于世界的事实,用户无需信任任何人的内省就能查验;而关键在于,它们来自你的代码。任何 API 变更都拿不走它们。
  • 中等——结构性的,部分属于你。计划、任务分解、选用了哪些工具、跳过了哪些。即便推理被封起来,你也能从调用序列把这些重建出大半;它可查验其自洽性,但不能作为隐藏成因的证据。
  • 最弱——内省式的,如今还是厂商的转述。那段自由文本的「为什么」。用来形成假设有用,作为正确性的证据永远不行;而在 2026 年,它离那个计算比以前更远了。

实务上的转变在于:最上面那一层如今必须被刻意工程化,而不是顺手采集。一个会把 tool_use 块连同完整参数、返回与耗时一起记录的框架,拥有一份轨迹;而一个只记「调用了 search」的框架,无可展示。这与轨迹和决策回执所描述的,是同一套埋点,而透明度界面只是它最面向用户的那个消费方。

这在真实产品里长什么样——一个客服智能体发起退款,按「评审者实际能核查什么」降序排列:

# Tier 1 — your harness produced every field. Checkable without trust.
refund.create(order="A-4471", amount_cents=2300, reason="damaged")
  policy: refunds.md#damaged-goods (rev 2026-09-14)
  evidence: ticket 88213, photo attachment 2, received 2026-10-17

# Tier 2 — reconstructed from the call sequence, not from self-report.
steps: lookup_order -> fetch_policy -> check_window(14d, ok) -> refund.create
skipped: escalate_to_human (threshold $100, not met)

# Tier 3 — a summary the model wrote about its own hidden reasoning.
# Label it as such. Never render it as "why the agent did this".

评审者可以逐行拿第一层去核对订单、政策文件和那张照片。第二层他们可以查自洽性。第三层他们只能选择相信——这正是它该待在首屏之下(甚至干脆不出现)的原因。而给来源本身做标注是另一门手艺,见引用与来源标注体验。

步骤 4把推理签名当作一份凭据,而不是一段内容。

那个加密块是你系统里的一个新对象,它具备的一些性质,是历史上任何透明度设计都不必考虑的——而其中两条是安全性质。

  • 它必须逐字节原样回传。Anthropic 与 Google 都在文档里写明,signature 或 thought 块要原封不动地传回,以在多轮与工具调用之间保持推理连续性。一个会把未知字段做归一化、截断或剥除的中间件,会以「看起来像模型退化」的方式破坏多轮推理——这正是跨工具调用携带推理要描述的那种故障模式。
  • 它不能安全地回显。2026 年 8 月的一篇 arXiv 论文《Stealing Reasoning Traces from Proprietary LLM APIs》报告称,一份加密的推理载荷可以被插进一个兼容模型的上下文里,再配上一句要求它逐字复述先前思考的提示,从而把明文恢复出来。请把这个具体结果当作「据报道」而非「已确证」——但那条设计结论无需确证:一个把这个数据块包含进去的调试面板、客服导出或冗余日志,就是一条通道,通向隐藏推理中关于你的提示与你用户数据的一切。请把它挡在用户可见界面之外,也挡在你交给第三方的任何东西之外,并按智能体轨迹中的个人信息脱敏给轨迹其余部分的那套规矩来处理它。
  • 你在为它付钱。在各家主要厂商那里,思考 token 按输出价计费,所以这个意义上的「更多透明度」是一个账单条目,而不是一个免费的显示开关——算术在推理 token 核算里。

具体来说:存下这个 signature,永不渲染它,不要把它放进 URL 或客服工单,并在你的连续性需求允许的范围内给它最短的保留期。它的行为像一枚恰好由你的提示派生出来的持有者令牌。

步骤 5按决策所需的海拔来解释,并以来源开路。

没有唯一正确的深度——只有支撑得起这位用户下一个决策的那个深度。过度解释本身就是一种失败:一墙推理会训练用户把面板原封不动地折叠起来,于是你丢掉这条通道,与H1 里过度展示置信度的后果一模一样。

# Altitude follows consequence and the user's role
if stakes == "high" or user.is_reviewing:
    show(plan + sources + diff)        # inspectable substrate
elif user.asked_why:
    show(one_line_rationale, expandable=True)
else:
    show(outcome + provenance_badge)   # quiet by default

对多数智能体输出而言,对决策最有用的那一片透明度不是为什么,而是来自何处:哪个来源、哪个工具、哪段被检索的原文、什么时间戳。来源是可外部验证的、很难被足以令人信服地伪造的、而且可直接付诸行动——用户能点进去查。它还能优雅降级:「我没能为这条找到来源」本身就是诚实而高价值的透明度,而一个会这么说的智能体,赢得的信任比一个总有流畅答案的智能体更校准。这份诚实有一种值得采纳的结构化形态——结构化拒答与原因链。

还有,只叙述既选路径的透明度,恰好藏起了评审者最需要的东西:智能体否掉的那个相近备选、它不得不做的那个假设、它缺的那个输入。把这些摆出来,就把解释从一份辩词(它鼓励事后合理化)变成了一份决策辅助(它邀请纠正)。在用户能于执行前对此采取行动的地方,这就是计划审阅;而在规模化之后,它是智能体输出的审核队列里的队列设计。

默认给一行「做了什么、来自哪里」,把完整的计划、来源与 diff 放在一次点击之外,并且永不自动展开推理摘要。按需的深度胜过默认的深度——而那一行默认内容造起来很便宜,因为你的框架早就知道工具和来源是什么。

步骤 6什么时候不该展示推理轨迹。

你多半已经展示不了了,所以这条规则比从前更锋利:永远不要把厂商的推理摘要当作智能体的推理呈现出来,也永远不要让它的存在替代那份可核查的底料——把工具调用、来源和 diff 摆出来,并让任何自述式的叙事停留在一个明确的、需用户主动开启的假设上。

另有两种情形,连摘要也该关掉。如果用户的下一个动作是批准某件不可逆的事,一段流畅的说理会可测量地提高信心而不提高正确性,这是一道关卡上最糟糕的组合。而如果你的产品要受审计,记录里的一段摘要会引诱审计人员把它当成「给出的理由」——所以请让那个解释字段由你的框架来填,而不是由模型来填。