为信任而设计,是把信任工程成「恰当的量」,而不是「最多」。
生产环境里真正昂贵的智能体失败,不是那些不被信任的——用户干脆就不用了。而是那些被过度信任的:自信地错、被相信、然后被转发出去。信任恰好由三项披露来校准——你校验了什么、你没校验什么、以及你的校验会跳过什么——而在 2026 年,这三项最好的实作范例并不出在对话界面里,而出在安全门禁里,因为那些团队被迫公开了自己的覆盖缺口。
步骤 1目标是校准,不是最大化。
每一个智能体都被两种失败模式夹在中间。信任不足:用户把一切都重新核一遍,速度优势荡然无存,产品被弃用。过度信任,有时称为自动化自满:用户不再检视,于是错误一路通到后果。设计目标——这个术语从人与自动化的研究文献被带进了智能体 UX——是信任校准:用户感知到的可靠性,应当按任务类别追踪实测可靠性,因为一个很会摘要、却在算术上平庸的智能体有两种真实可靠性,也配得上两种信任水平。
起作用的那个词是实测。校准是一次比较,所以一个从未算过这次比较后半截的产品,不能声称自己被校准了——它只能声称自己「感觉上很谨慎」。这就是这一页与一张设计原则幻灯片的区别,而这一页余下的部分,讲的就是要让这次比较成为可能,你必须披露的那三件事。
「用户很喜欢」不是智能体的成功指标。一个用户很喜欢、却从不核验的智能体,是一场潜伏的事故。要量的是信任与可靠性之间的差距,而不是信任本身。
步骤 2过度信任是默认结果,因为「流畅」是用户手上唯一的信号。
错误成本是不对称的。一个带保留的错答案——「我不确定,可能是 X,请核实」——代价是一次重新核对。一个自信的错答案,代价是整条下游后果,加上用户此后每一次校准判断的侵蚀。而这种不对称是自己招来的:语言模型不管对错都产出同样流畅的文字,所以流畅度不可能是可靠性信号——然而默认情况下,它就是屏幕上唯一的那一个。
损害的形状是算术,不是感觉。取一千条真实输出,按产品展示过的置信度分档,并附上每一档实际达到的准确率:
- 被展示为95% 置信的那一档:280 条,准确率 99%——2.8 个错误。全量复核它的代价是每找出一个缺陷要读 100 次。
- 被展示为确定的那一档:200 条,准确率 74%——52 个错误。全量复核它的代价是每个缺陷 3.8 次——效率高 26 倍。
在那份样本里,总校准误差的七成坐在系统自称「确定」的那两成条目上。而「确定」这一档,恰恰是每个看起来很合理的界面都会压制确认步骤的那一档。这种倒置不是你能靠培训消除的复核纪律问题;它是由展示层制造出来的,所以修它属于设计,而不属于流程。它在吞吐量上的后果——错配的复核会在抵达真正需要它的那一步之前就把预算耗尽——就是 监督容量。
步骤 3三项披露,而人人都会漏掉第三项。
一个被校准过的界面,会把三件分开的事告诉用户。大多数产品只告诉了一件半。
- 校验了什么,以及这次校验是什么。「这个数字取自 Q3 的财报」是一项披露。一个光秃秃的 62% 不是:它没有点名任何实质依据,所以用户无法分辨它反映的是一个通过的校验器、还是模型对自己的看法——而这两者的历史战绩天差地别。
- 没有校验什么。那个诚实的第三种状态。多数界面把「我们查了,没通过」与「这一类根本没有校验器」塞进了同一个桶,而这种塞法总是朝乐观的方向落地,因为一个没被标记的条目读起来就是没问题。
- 校验本身会跳过什么。每个校验器都有覆盖边界——某种它解析不了的输入、某个超过就放弃的尺寸、某一类它不评估的论断。如果这个边界没有被披露,用户的信任就是针对一个他们以为无所不覆盖的校验校准的,而这比根本没有校验更糟,因为他们会停止抽查。
第三项披露是尚无成熟 UI 范式的那一项,而真正的暴露正住在这里。一个在 4% 的输入上静默放弃、却被当成 100% 覆盖的校验器,会产出一股自信、未被标记的条目流,而它恰恰就是没有人验证过的那些——这与一次 被隐藏的失败 结构相同,只是这里的隐藏是一个产品决定,而不是一种模型行为。
步骤 4最好的实作出在安全工具里,不在对话产品里。
有三个产品把这三项披露中的一项做得明明白白,而三者都是密钥扫描工具——在那个领域里,监管方、审计方与事故复盘迫使团队说出自己的检查做不到什么。截至 2026 年 11 月:
- 三种状态,被诚实地分开。TruffleHog 返回
verified(该凭据已对签发方 API 验证过,仍然有效)、unverified(检出了,但未确认)与unknown(校验本身失败了——网络或 API 错误)。unknown就是第三项披露被当成一等取值,而不是被省略。任何会运行「自己也可能失败的校验器」的智能体界面,都该把这个范式抄过去。 - 一个被允许、并且被记录的绕过。GitHub 的推送保护会拦住含有被检出密钥的提交,并允许开发者在陈述一个理由后继续,而这个理由会被记录下来。把摩擦加在不可逆的那一步上,同时让「覆盖」变得可见而不是不可能——这正是多数智能体需要、却少有实现的 确认设计。
- 公开的覆盖上限。GitLab 在文档里写明:当单个文件或 diff 超过 1 MiB,或一次推送改动超过 3,150 个路径、350,000 行时,它的 pre-receive 密钥检查会被跳过,而跳过时会发出一条审计事件。读那份清单的感觉像在披露弱点。其实恰恰相反:一条被说明的边界是可监控的,而一条没被说明的边界有同样的洞,却没有告警。我们在 GitHub Secret Protection、GitLab 推送保护、TruffleHog 与 Gitleaks 之辨 里比较了这四个工具及其绕过方式。
把每一条翻译成一个智能体界面,范式立刻就清楚了:为「校验器出错了」留一个结果状态;让覆盖决定可用并被记录,而不是被藏起来;以及在用户决定「要不要去看」的那个位置,明白写出智能体的校验覆盖不到什么。
步骤 5把摩擦花在实测偏差所在之处,而不是后果等级所在之处。
确认步骤、应用前的 diff、以及「把过程摊开给我看」,首先是校准装置,其次才是安全机制。加在高后果、低战绩动作上的摩擦会让用户真的去看,而那一刻正是校准发生的时候。加在高战绩、低后果动作上的摩擦是纯粹的税,而且比中性更糟:它训练用户不读就点过去,而这个习惯会转移到真正要紧的那些动作上。
常见的规则——摩擦与后果成正比——只对一半,而 STEP 2 说明了原因。后果告诉你一次失误值多少钱;按档位实测出的偏差才告诉你失误在哪里。一个智能体已经执行过 4,000 次、只被纠正过两次的高后果动作,需要的是一条记录,不是一个弹窗。而一个中等后果的动作,只要它落在「展示置信度超出实测准确率 26 个百分点」的那一档,就需要那个弹窗,不管它看起来多日常。
战绩是让这件事对用户可读的那个仪器,而它需要一个分母:「起草了 240 封回复,你编辑了 6 封,0 封被回退」是人能据以推理的东西;「准确率很高」不是。请把它限定在当前任务类别上,并把它显示在用户正在决定「要核到多细」的位置——一个在所有事情上平均出来的全局准确率数字,恰好藏起了校准最需要的那种按领域的方差。
步骤 6不要展示一个你没有打过分的信号。
一个未经验证的置信度数字不会降低过度信任;它会把过度信任恰好集中到没有人在检查的地方。这是这一页上唯一没有例外的规则,而它附带一条具体的测试:如果被你最高置信度标记的条目,比下一档的条目错得更频繁,那么这个徽章正在制造过度信任,应当在今天就被撤下,而不是先被改进。
在一个信号确实通过了打分的地方,请把它渲染成一个路由输入、而不是一件装饰——每一条输出上都挂一个数字,是在教用户忽略这个通道的噪声:
# Confidence is a routing input, not a UI ornament. # Three states, because "we did not check" is not "we checked and it passed". if check.ran and check.passed: render(answer, badge="checked", evidence=check.citation) elif check.ran and not check.passed: render(answer, badge="check-failed", expand_reasoning=True) else: # No checker for this claim type, or the checker errored. render(answer, badge="not-checked", why=check.unavailable_reason)
为上面这一切发放许可的那次测量,是一份生产环境校准度报告,而它是一天的活儿、不是一个平台:把上个月的输出与你手上任何一种结果连接起来,按展示过的置信度分档,然后打印档位、n、准确率与带符号偏差。标签来源、为什么期望校准误差是错的跟踪指标、以及一个校准度监控该为什么事呼人,都在 在生产环境里测量校准度。
这一周就对你自己的界面跑一遍三项披露审计。对每一个徽章或置信度指示器,回答:它背后的实质依据是什么、校验器没有运行时用户看到什么、以及覆盖边界写在哪里。一个无法回答全部三问的徽章,是你的产品代替模型做出的一个主张——而当它错了,用户当初相信它是对的。