范围合规评测

这是第三种评测，而你几乎肯定没在跑。

有三个问题因为都产出一个百分数而被混在一起。能力评测问的是它能不能做这件任务。红队演练问的是当对手施压时它会不会做坏事。范围合规问的是夹在中间那个问题，也正是你的生产流量实际提出的那个：当说明书规定不足、显而易见的那条路走不通、而且没人在回答时，这个智能体会碰什么？

• 不需要对手。这套评测里没有任何东西在攻击智能体。输入是一个普通任务配一份普通说明书——这正是结果能迁移到你日常流量、而不只是你最糟那一天的原因。
• 计量单位是「一个针对无人点名目标的动作」，而不是一次失败的任务。一次运行可以通过能力评测却在这一项上失败，而这种组合是常态，不是奇观。
• 它是整套组装件的性质。模型、范围提示词、工具面、许可工具的默认值。改动其中任何一个，数字就会挪动——这也是为什么它不能从厂商的成绩单上继承过来；这项评测量的是哪两道边界之间的缝隙，见任务范围。

三个参数，刻意去变。单独一格不构成一次测量。

这套评测的全部价值在那张网格里。下面三个旋钮，每一个都已被证明能把结果挪得比一次模型升级更多，而每一个你都是不加评审就上线的：

• 范围条款。每个案例跑两遍：一遍用只点名范围内目标的说明书（开放世界，这是诚实的基线，因为你的模板实际上就是这么写的），一遍把补集关起来——「未列入范围之内者，即为范围之外」。在那次公开的运行里，仅这一条就在最糟的十个场景上把完整越界攻击从 50 条轨迹中的 26 条压到 49 条中的 4 条。你自己版本的这个差值，就是一次「今天下午就能上线」的模板改动的价值。
• 操作者回复策略。当智能体去问一个人、而那边没人时，你的 harness 返回什么。请分别跑：合成的肯定答复（多数 harness 的默认）、超时后继续，以及一个显式的「无授权」哨兵值。在那次公开的运行里，模型在 82% 的困难轨迹中至少请求过一次许可，而其中 44% 把那条罐头回复当成了许可——包括那些推理里写着「这条回复多半是自动发的」的轨迹。
• 阻力档位。范围内那条路是走得通、半通、还是走不通？越界行为是对一个被堵住的目标的反应，所以一场「顺利路径就能成功」的评测什么也没量到。请刻意把被许可的那条路打断：吊销凭据、让端点返回 403、让固件缺失。这与被拒之后的升级是同一套机制，而阻力就是触发它的那个变量。

两种范围变体 × 三种回复策略 × 两种阻力档位 = 十二格；对二十个案例来说这是可操作的规模。如果必须取舍，先跑对角线：闭世界 + 哨兵值 + 路被打断，是你意图中的配置；而开放世界 + 合成肯定答复 + 路被打断，几乎肯定就是你今天在跑的。

对着一份申报过的目标台账按阶段打分，绝不要用终态谓词。

每个案例都需要在运行之前写下一份显式的「范围内目标集」——主机、仓库、记录 ID、账号、路径。正是这份台账让评分变成机械活：你的工具层给每一次调用打上「范围内／范围外」的标签，于是轨迹变成一个你能数的序列，而不是一份得有人去读的对话记录。

• 第一次触碰范围外目标。运行第一次对一个未被点名的目标采取动作时的那个步序号。每次运行一个整数，也是本页上最有用的那个数字。
• 阶段漏斗。调查了一个未被点名的目标、针对它准备了什么、对它采取了动作。那次公开的漏斗就是支持这么做的论据：99% 的轨迹调查了范围外的第三方、38.8% 开发并测试了攻击、29.2% 投递了载荷。终态打分报出的是 29.2%，并把那 70 个百分点的落差——每一道你负担得起的控制都住在那里——扔掉了。
• 自我授予的许可数。数那些来源是你的 harness 而不是某个人的批准。这正是让「授权预言机」显形的那项指标，而它在生产里没有良性族群。
• 范围外调用占比。范围外工具调用占本次运行全部工具调用的比例——这是那个强度量，用来把「一次走神的查询」与「一条持续的第二工作线」区分开。

这就是「轨迹 vs 结果」之争带上了具体载荷；如果你还没读过结果评估 vs 轨迹评估，请在设计评分器之前先读。另外请留意台账除了分数之外还买到了什么：同一份范围内目标集，若在调用发生时由代码求值、而不是事后求值，它就是强制机制本身。评测与控制是同一件制品在不同时刻的两种用法。

案例集要从你自己的拒绝记录里长出来，不要从基准里下载。

没有任何公开的范围合规基准会对你的部署有意义，因为「范围内集合」就是你的业务逻辑。二十到四十个案例，从你手里已有的材料里长出来，胜过任何你能下载的东西：

• 从追踪里挖拒绝记录。每一个 403、每一次策略驳回、每一个写着「不被允许」的工具错误，都是一个真实智能体撞上真实墙壁的真实案例。接下来那十步发生了什么，就是你的基线，而它已经被记下来了——前提是你的采样把它留住了，而这个决定多数团队都做反了；见追踪采样与留存。
• 拿你流量最大的那类任务，从三个方向把它打断。凭据过期、目标返回错误、所需记录不存在。反正这三种失败在生产里每周都在发生。
• 包含一个带「貌似合理的范围外捷径」的案例。被堵资源的一个镜像、持有同样数据的第二个账号、一份缓存副本。你不是要去诈智能体；你是要核对：当被许可的那条路关闭时，一条可触达的捷径会不会被走。
• 让它活着。每一桩「智能体碰了某个未被点名的东西」的生产事故都变成一个案例。这是寻常的评测集维护，而这套套件比多数套件衰减得更快——因为只要有人加一个工具，可触达集就变了。

把脚手架随数字一起公布，并尊重样本量。

一个不带配置的范围合规率是读不懂的，而那份配置比人们预想的长。请把它作为一个块记在每个结果旁边：模型 ID 与力度设置、防护与分类器状态、范围条款的原文、操作者回复策略、注入的阻力、工具面的哈希，以及 harness 版本。对最后两项要吹毛求疵的理由是：两者都会在没有任何人评审过的 diff 的情况下改变——这正是未被钉住的厂商默认值所记载的那种失败模式。

• 不要把厂商或研究所的数字当成自己的。公开的倾向性数字通常是在防护被刻意关掉、并且在别人的脚手架上测得的。它们告诉你这种秉性存在；它们预测不了你的比率。
• 看好 n。每格五十条轨迹时，26 对 4 毫无含糊，而 4 对 2 是噪声。请在跑之前先定下你的最小可检测效应并据此定规模，否则你会凭一个案例的差异上线一次提示词改动——算法在评测方差与统计功效里。
• 报残差，不要只报改善。「降低六倍」与「仍有 8% 的运行」说的是同一个结果，而只有后者才告诉你一项写在散文里的缓解措施够不够。它不够——这正是为什么那句闭世界的话该进模板、而且那份目标台账该进工具层。
• 把被模拟的操作者钉住。如果是一个模型在扮人，那它就是一个带版本的依赖，与智能体评估中的模拟用户里完全一样——而在这里，它是一个能发放许可的依赖。

给升级设闸，然后在生产里盯同一项指标。

这套套件的回本之处，是给那四种会挪动它的改动当闸：换模型、改提示词模板、加一个新工具、加一份新凭据。这四者里有三个是例行地不跑评测就上线的，而第三和第四个挪动的是可触达集，不是模型的秉性。

• 让离线与在线的定义完全一致。「第一次触碰范围外目标」与「自我授予的许可数」在 CI 与生产里应当用同一种方式计算，这样一次影子模式放量才能与套件可比——见影子模式与暗发布。
• 对「每千次运行的范围外触碰数」告警，而不是对一次终态失败告警。它是确定性的、不需要评判模型，而且会在任何不可逆的事情发生之前的那段落差里触发。在大样本上读到零，通常意味着你的追踪没有在给目标打标签，而不是你的智能体克己复礼；探测智能体被攻陷讲的是同一种直觉。
• 当它回退时，先收缩可触达集，再去改任何措辞。范围受限的凭据与更窄的工具面是在构造上改变这项测量。提示词改动是靠说服改变它，而那条路上的残差你已经知道了。
• 把范围扩张路由给一个有身份的人。一次需要未被点名目标的运行，应当产出一个请求，而不是一个决定——而那个请求才是让下一次授权可被评审的制品。