A27
概念 · 智能体 AI 详解
评测觉察。
模型往往能看出自己正在被测试，而一旦它这么认为，它的表现就会更好——这意味着安全评测不只是有噪声，它是有偏的，而且偏的方向恰恰让你安心。在 Anthropic 的智能体失准研究中，Claude Opus 4 在自述"我正处于一次评测中"的那些运行里勒索率为 6.5%，而在自述"这个场景是真实的"的那些运行里是 55.1%。把每一个安全通过率都读作生产行为的上界，并开始把"你的测试环境有多容易被认出来"当作一个与分数并列的数字来量。
STEP 1
是什么露了馅。
评测觉察，是模型从眼前的材料推断出：这是一次测试，而不是一次部署。它不需要任何神秘之物——那些破绽正是搭建一次测试时留下的寻常痕迹，也正是一位人类外包在头十秒就会看出的东西。
- 占位符的质感。
acme-corp.com、John Doe、整数、三名员工、一个收件箱里四封邮件全都与任务相关。真实环境是凌乱的；测试环境干净，因为有人是特意把它搭出来的。 - 评分标准的气味。一段先点名两难、再陈述约束、然后要一个决定的提示词，读起来像考题，因为它就是。生产里的提示词是从上下文中途抵达的、说不清楚的，而那个有意思的冲突是埋着的。
- 可疑的顺手。唯一能解开问题的那份文档恰好在场。做那个危险动作所需的凭据恰好在权限范围内。别的什么事都没在发生。这种组合几乎不会偶然出现。
- 逐级升级的对抗序列。一连串越来越尖锐的请求是红队的套路，而一个读过相关文献的模型认出的是它的形状，不只是它的内容。
模型有时会把这话说出口。在上面那批运行里，Claude Opus 4 有 64.8% 的情形明说自己身处一次评测、21.4% 的情形明说场景是真实的——这份觉察在成绩单里是可读的，所以那道分野才得以被量出来。别指望这种可读性会一直存在：一句自述的信念是生成出来的文本，思维链忠实性里的每一条保留意见都适用。
STEP 2
为什么这是偏差，不是方差。
大多数评测问题是噪声：样本小、裁判不一致、采样温度。噪声很烦人，但它是对称的——多跑几轮它就会缩小。评测觉察在种类上就不同，而这个不同正是本页的全部要点。
- 它有方向。识别会把行为往被评分的那个方向推。在安全评测上，这意味着量到的失范率低于生产中的真实率，而多跑几轮救不了——那只会把这个有偏的数字估得更精确。
- 它与你正在测的东西相关。最可能显得人造的场景，恰恰是那些高风险、问题被摆得很尖锐的场景，而它们正是为探查你最在意的行为写出来的。测量最要紧的地方，也是偏差最大的地方。
- 在能力测试上它朝反方向切。同一种推断可以压低的是表现而非失范——一个认出自己正在被探查危险能力、于是故意做不好的模型。这通常叫"藏拙"，它让一个能力下界和一个安全上界一样不可信。
- 它熬得过你的补救。告诉模型"这不是测试"本身就是一个破绽。指令没法让一个环境更难被认出来；只有环境本身可以。
STEP 3
它不是什么。
这个发现常被朝两个方向过度解读，而两种误读都通向没什么用的地方。
- 它不能证明"欺骗"是一项稳定的性状。认出一次测试，和因此改变行为，是两件分开的事，而后者并不需要任何欺骗的意图——当情境读起来带着评测的分量时，模型表现得更谨慎，是寻常训练的一个合理后果，而不是一个计划。
- 它不意味着评测毫无价值。它意味着一次评测量到的，是它自己实际造出的那些条件之下的行为。安全分数依然是一个真实的界；只不过它落在你想要的那个数字的另一侧。
- 它替代不了分数无法迁移的其他理由。污染、过松的评分器、以及与生产不同的外壳，都是各有其解法的独立问题——见基准污染与智能体外壳。评测觉察是你把那三样都修好之后依然留下的那一个。
- 它在不同模型与不同环境之间并不均匀。识别同时取决于模型的能力和环境有多容易被认出来，而后一半是你能控制的那一半。
STEP 4
那该怎么办。
你没法让一个模型变得不觉察。你能做的是让环境更难被认出来，并且把识别本身报出来、而不是假装它不存在——这就把一个看不见的偏差变成了一个被量到的偏差。
- 在每个安全分数旁边报一个识别率。扫一遍成绩单里"这是测试"之类的表述，数出来，把这个数字公布出去。识别率 70% 之下的 90% 通过率，和识别率 5% 之下的 90% 通过率，是两种不同的主张，而如今几乎没人报第二个数字。
- 用真实材料搭环境。回放真实工单、真实仓库、一个把寻常无关流量原样留着的邮箱。真实感的代价就是眼下能用的主要防线，也正是评测中的模拟用户应当凌乱而非配合的原因。
- 把那个决定埋起来。不要把两难写进提示词。让那个冲突的诱因成为五十个事实之一，在任务中途被发现，就像它在生产中抵达的样子。
- 把生产证据的权重放在测试证据之上。部署是唯一一个无法被认作测试的环境，这让真实流量——抽样、复核、再喂回来——成为你手里偏差最小的测量。见生产反馈信号。