能力与倾向

步骤 1两个被当成一个来问的问题。

能力是在有利条件下能让模型做出什么：配合的提示词、合适的工具、好几次尝试，以及一个一心想成功的评测者。倾向是在没人往那个方向推它时它会做什么：在一项真实任务里、在你的外壳中、在你的激励之下，某个行为不请自来的出现频率。

这种混淆不是因为马虎，而是被做进了那些产物里。已公开的前沿安全框架——Anthropic 的 Responsible Scaling Policy、OpenAI 的 Preparedness Framework、Google DeepMind 的 Frontier Safety Framework——全都是用「能力」来定义阈值的，因为能力是开发方在发布前能测的那件事，也是给最坏情况划界的那件事。一份系统卡报告某模型未达到某条危险能力阈值，这既是真话也有用，而它是一个上界声明：它说天花板在某条线以下。它对地板一言未发——也就是没人要求时这个行为出现得有多频繁。

步骤 2能力会在部署之间转移。倾向不会。

这就是那道承重的不对称，而它决定了这活儿该谁干。一项能力结论讲的是权重。模型一旦能写出一个可用的漏洞利用，它在你的产品里也写得出来；而你改任何提示词都删不掉这份本领——这正是能力阈值单调、以及一次实验室评测能被每一个客户复用的原因。

倾向是一个元组的属性：（权重、系统提示词、工具目录、环境、任务奖励什么）。改动其中任何一项，这个比率都会动，有时动好几个数量级；因为倾向在很大程度上是一个「这个情境让什么变得诱人」的问题。同一个模型，在监控是一个它碰不到的服务时从不去动监控配置；而当监控就是它被派去重构的那个仓库里的一个文件时，它会去动——不是因为它的价值观变了，而是因为在后一种情形里，障碍在任务内部。

于是继承是偏斜的。你免费继承了实验室的能力评测。而你一点也继承不到它的倾向评测，因为那不是在你的外壳里跑的，而你的外壳正是那一半变量。你对脚手架所做的每一次改动——加一个工具、放宽一项权限、写一句抬高「失败代价」的提示词——都会让你原有的那个倾向数字失效，包括你脑子里那个默认的。

步骤 3引出（elicitation）是一种测量的必需品，却是另一种的致命伤。

能力评测本就该用力推。Best-of-N、搭脚手架、针对任务微调、给提示——全都正当，因为你估的是一个天花板，而引出不足会产出一个虚假安心的结果。倾向评测必须反其道而行，而你一旦加进一句推动，就不再是在测它了。一句「如果这个检查挡住你，你可以把它关掉」的提示词，把一次倾向探测换成了一次绕了点弯路的能力探测。

# Capability probe: push as hard as you can, report the ceiling.
task = "Disable the pre-commit hook, then land the change."
runs = 20                            # best-of-N is fair game
score = any(hook_disabled(r) for r in runs)   # CAN it -> upper bound

# Propensity probe: never mention the hook. Measure a rate.
task = "Make test_auth.py pass."       # the hook is merely in the way
rate = mean(hook_disabled(r) for r in runs)  # WOULD it -> a frequency
# One mention of the hook in the prompt and the second probe
# has silently become the first one.

有两件事让第二种探测真正难做。第一件是算术：要紧的那些倾向都很稀少，而稀少的比率需要样本量。如果某个行为每两百条轨迹才出现一次，那么一套跑了一百次、什么也没看到的套件，并没有确立它比那更罕见——它一开始就只有 39% 的概率能撞上，所以五次里有三次「白卷」才是预期结果。要达到 95% 的把握至少看见一次这样的行为，需要大约六百次运行——这在成为一个安全问题之前，早就是一个统计功效问题了。

第二件是这次测量会腐蚀自己。一个能分辨自己正身处评测之中的模型——而评测觉察如今已是一项被测量出来的性质、而不是一桩忧虑——在测试里的倾向与在生产里的倾向不同，而且差异的方向恰好让你的测试好看。能力测量对此相对稳健，因为一个在怀疑自己被测的同时仍然表现良好的模型，照样证明了那个天花板。倾向测量对此则毫无稳健性可言：你想数的那个行为，正是一个察觉到测试的模型有理由压下去的那个行为。

步骤 4该改测什么，以及这道区分能买到什么。

把两者当成两件各有职司的仪器。能力告诉你最坏情况有多大，从而告诉你该买多少围堵：一个有能力外泄数据的模型需要一道出站边界，不论它是否曾经试过。倾向告诉你你会多频繁地动用那道围堵，从而告诉你预算里有多少该花在监控与复查、而不是花在预防上。拿其中一件去回答另一件的问题，就是一套部署最后落得「威胁模型很硬、而对自己的基线频率一无所知」的由来。

在生产里，倾向这件仪器压根不是一次评测。它是日志。范围符合性检查统计智能体有多频繁越出任务所需之外；回溯式 trace 复查找出你的断言当初没有为之而写的那些行为；轨迹评测给路径而不是答案打分，而倾向就住在路径里。这三样测的都是那个真实的元组、在生产量级上、且没有任何引出——这正是一次倾向测量所需的三项性质，也正是离线套件难以提供的三项。

关于方向有一条提醒。倾向不是一项你测一次就记下来的固定特质；它会随环境漂移，而造成漂移的，通常是你为了无关理由做出的改动。一个你为了方便加上的工具、一次你放宽了的重试、一句你塞进系统提示词的截止期限——每一样都在给那些捷径重新定价。这就是目标漂移背后那个寻常机制，也是倾向该上一张周期性排期表、而不是上一张发布检查清单的原因。