人在回路与最小权限

11 分钟读完

S5
运维 · 安全、对齐与智能体安全

人在回路与最小权限:以设计实现有界自主。

多数团队把审批关卡放得大体正确,却依然把它丢了,因为一道关卡只有在三件互相独立的事同时成立时才值得它那点延迟:它展示的是效果、而不是模型对自己意图的描述;它无法被那条承载了攻击的通道满足;而且有人有时间去决断它。2026 年 3 月至 10 月间针对某个编码智能体审批路径公开的九份安全公告里,关于哪些动作该设关卡,一个错也没有。最小权限仍然是地基,理由却容易被漏掉——它是唯一一项能减少「你需要几道关卡」的控制。

步骤 1先做最小权限,因为它决定关卡的数量。

最小权限是安全领域里最老的原则,也是对智能体杠杆最大的那一条,因为它打的是影响,而不是去追触发。每一篇提示注入的文章最后都落到同一处:真正要紧的攻击是那种能产生有害动作的攻击,而一个不具备该能力的智能体,无论上下文被投毒得多彻底,都做不出那个有害动作。

落到智能体身上,它有四个维度,而每一个都是在替人类减活,而不是加活:

  • 工具最小化:智能体只拥有这个任务需要的工具,而不是「备着万一」的整套目录。一个不在 schema 里的工具不需要关卡。
  • 范围最小化:每个工具的触达被收窄——能只读就只读,按行或按记录限量,目标地址进允许清单,单租户。一个上限 50 美元的退款工具,把一个要设关卡的动作变成了不需要关卡的动作。
  • 凭证最小化:短期、按任务、范围窄的凭证;智能体的环境里不留长期的环境管理员令牌。参见范围受限凭证与凭证生命期。
  • 时间最小化:一项能力只在它有效的那个状态里存在,随后被撤走——这也正是让「为一个任务发出的授权」没法去资助下一个任务的那件事。

先把这些活干完再去碰关卡,理由是算术,不是洁癖。关卡消耗的是一笔固定的人类注意力预算,于是「每小时被设关卡的动作数」是一项你在花的资源;收窄范围就是你停止花它的办法。每一个变得可以无人值守地跑的动作,都是一个再也不来抢审核者那九十秒的动作——这笔预算本身就是监督容量,而影响半径是作用于它的那根更便宜的杠杆。

对多数生产环境的智能体,最快的那份安全收益依然是:把「智能体拥有的工具」与「这个任务真正需要的工具」之间的差距关掉。它一次性缩小了每一类影响,不需要改模型,而且它是这里唯一一项让人类的活变小而不是变大的干预。

步骤 2剩下的关卡,按后果来放。

一个逐步审查的人类是一项慢但极强的控制:一位胜任的审核者会把那封被注入的智能体正要发往 attacker@example.com 的邮件挡下来。多步自主之所以有价值,恰恰因为它把那个审核者拿走了——也把那项控制一起拿走了。要做的事是有选择地把检查点放回去,按后果而不是按步数:当一个动作是不可逆、对外可见、改变权限或金额大时要求批准,而让可逆、内部、低价值的动作跑过去。

# Consequence-based gating, not step-based
read_internal_doc        # auto — reversible, internal
draft_reply              # auto — no external effect yet
send_external_email      # GATE — externally visible
delete_records           # GATE — irreversible
grant_access / merge_pr  # GATE — privilege / production
issue_refund > threshold # GATE — high-value

部署失败的地方不在这套判据上。它大致以这个形式到处都有,容易照着做,而在现场通常也确实做得差不多对。接下来是「你放对了的那道关卡」停止成为一项控制的三种方式,按发生频率大致排序。

步骤 3失败一:批准被绑在一个意图上,而不是一份效果上。

在大多数智能体产品里,人类批准的那串文字是模型写的,描述的是它打算做什么。那段真正要动手的代码从没见过那串文字。于是这次批准是一个关于某项声称的决定,而声称与效果之间的那道缝,正是意外藏身之处——不是因为模型说谎,而是因为它并不知道那次调用会碰到什么。

举个做完的例子。一个客服智能体提议「把那条重复的会话归档」。审核者批准了一个句子;而那次 API 调用归了一条会话的档、把一个标签级联到它的两个子会话上,还向客户的 CRM 打了一个 webhook。提议里没有一句是假的,也没有一句是可审的:

# What the human approved (model-authored):
"Archive the duplicate thread so the queue stays clean."

# What the code computed, which nobody saw:
archive(thread=8812)        1 thread
  ├─ cascade label          2 child threads re-tagged
  └─ webhook  crm.acme.com  outbound, externally visible

解法就是 kubectl 多年来在 --dry-run=client 与 --dry-run=server 之间画的那条线:只有当预览与动作出自同一条代码路径、并且那张批准凭据被绑在那份算出来的效果(而不是它背后的请求)上时,这次预览才配得上一次批准。把这个绑定做对,那个决定也会变得便宜得多——审核者读的是一份 diff,而不是去重建一份,而这正是「你能养得起几道关卡」上最大的那根杠杆。细节在试运行与预览模式,界面那一半是审批与确认 UX。

一道用户没法实质评估的审批关卡比没有更糟:它制造出一份保证,并把问责转移给一个从头到尾都没拿到足够信息去决断的人。如果你渲染不出那份算出来的效果,你建的就不是一道关卡——你建的是一个同意对话框,而它在为之收集同意的那样东西并未被指明。

步骤 4失败二:关卡可以从承载攻击的那条通道抵达。

一道关卡是一个引用监视器,而一个攻击者的输入能够影响的引用监视器只是一道形式。这件事在生产里有三个版本,而第一个是整个模式里最常见的安全缺陷。

那份与真正执行者解析方式不同的预批准清单。2026 年 3 月 30 日至 10 月 13 日之间,针对 Roo Code 的审批路径公开了九份 GitHub 安全公告——其中五份在十月的同一天——研究者点名了七种不同的 shell 构造:重定向、glob 记号、引号边界、注释边界、「双管」操作符、命令替换,以及把输出当命令用。每一个单独的修复都是对的。但这一类问题靠「匹配得更好」修不掉,因为那道关卡在解析一门归 bash 所有的语言:CWE-436,解释冲突。去批准你将要执行的那个对象——通常是一个 argv 向量——这一类就消失了。完整论证在自动批准与命令允许清单,现场证据在允许清单与 shell 各说各话。

那份智能体自己能合成出来的批准。如果「是」是在一个由智能体自己驱动的界面上的一次点击,或者是在一条智能体能发帖的会话里的一次回复,那么选中那个动作的同一段被注入的上下文,也能把它的批准生产出来。高影响的动作需要通过一条上下文里的攻击者无法伪造的通道来确认。这也是为什么那个十月集群已公开的 CVSS 向量记录的是被动的用户交互:开发者让智能体去读一个 issue,而那个 issue 里装着那条命令——这就是普通的间接注入,而一个同时持有不可信输入、私有数据与一个 shell 的智能体,就是把那道关卡当成唯一缓解措施的致命三要素。

那个被要求给自己设关卡的智能体。一个模型的自我评估,与它本该抓住的那个失败模式同源:产生了那个坏动作的被投毒上下文,也能产生一句自信的「这个安全,不需要批准」。它可以建议;它不能决断。关卡的决定必须是确定性的、且在外部——一条按工具及其参数来索引的代码层策略,这是策略即代码的活;而当风险随参数而变时,那是按风险评分的权限的活。

步骤 5失败三:没人有时间去决断它。

第三种失败不是 bug,也不留下安全公告。审批队列没有背压,于是当上报跑过了回答它们的人,什么都不会堵住、什么都不会报警:审核者会悄悄把每一次决定从九十秒重新标价为二十五秒,仪表盘上的审批延迟反而变好了,而那句判词不再是一句判词。

Emre Turan 的《Oversight Has a Capacity: Calibrating Agent Guards to a Subjective, Fatiguing Human》(arXiv 2606.08919,2026 年 6 月 8 日投稿)给这件事垫上了一套机理。把审核者建模成会疲劳的,实现出来的安全性就成了上报速率上的一条倒 U——上升、到顶、下落——而一个洪泛攻击随之直接成立:把一个有害动作埋进一长串例行审批里,它就会被橡皮图章放过;而只被问五次的审核者,每一次请求都会读。论文很诚实地说明,那条倒 U 与那个洪泛结果是一个疲劳模型的推论,摆出来是为了促成一次人类实验,依据是单一领域里 125 个手工标注的编码智能体动作。那项不需要这类假设的测量才是值得带走的:在那些动作上,审核者关于「哪些有风险」的一致性算出来是 Fleiss' kappa 0.52。中等。三个胜任的人看同一个智能体动作,会对「它该不该被拦下」意见不一。

两项运维后果。第一,上报速率是攻击者可控的,这让它成为一项安全属性,而不是一句人机工程上的抱怨——拒绝注意力,与拒绝钱包并列。第二,存在一个上限,而你现在就该决定撞线时怎么办。当上报超过你的审核者能决断的量,机群就暂停、降级为只读,或者卸掉低风险任务——失败趋关闭。把溢出的那部分自动批准并不是让这项控制退化;那是把它移除,而且恰好在攻击者会挑的那个时刻。

┌──────────────────────────────────────────────────────────┐ │ A GATE THAT IS ACTUALLY A CONTROL │ │ │ │ bound to effect → same code path previews and acts │ │ unreachable → approval channel ≠ attack channel │ │ decidable → escalations/hour ≤ capacity │ │ │ │ any one missing → a log line saying a human was here │ └──────────────────────────────────────────────────────────┘

步骤 6一次能告诉你「你中的是哪一种」的复查。

这三种失败都在你本来就留着的数据里看得见,而查询都很小。每季度跑一遍,工具目录有任何变动之后也跑一遍。

  • 从上周挑十次批准,把效果重建出来。如果你从日志里看不出那次被批准的调用究竟碰了什么,你中的是失败一——你的决策收据也一样。
  • 问一句:谁能造成一次批准。把能递出一个「是」的界面列出来,逐一与不可信文本能触达的界面比对。任何重叠都是失败二。
  • 把决断耗时对队列深度画出来。一簇五秒以下的决定,或者通过概率随深度上升,就是失败三在你自家流量里被经验性地定位出来了。
  • 抽样做双人复审。把少量上报独立地分给两位审核者。一致性只是中等,意味着要修的是对话框,而不是阈值。
  • 把那一对记下来。提议的动作、算出来的效果、判词、结果,装在同一行里。没有这个配对,一次绕过与一次正常批准无法区分——而那正是一次绕过能七个月无人察觉的原因。
Question
审批关卡把生产力收益都吃掉了。我该怎么为它们辩护?

按后果而不是按步数设关卡,成本就会塌下来:智能体的绝大多数动作是可逆的内部读取,一路畅通;摩擦只落在那少数不可逆或对外可见的动作上,而那恰是无人值守的失手或一次成功注入最贵的地方。然后去攻剩下那些决定的成本,而不是它们的数量:杠杆就在那里,因为容量等于注意力除以每次决定的成本,所以把成本砍半与把关卡数砍半做的是同一份工,而且覆盖面还留着。把批准绑到一份算出来的 diff 上,是把它砍半最便宜的办法——请测你自己的前后对比,而不要去信一个比率。如果关卡仍然主导着你的延迟,诚实的读法是:这个智能体的范围划得太宽了,而不是监督压得太重了。

Question
能不能让第二个模型去审第一个的动作,来代替人?

当作过滤器,有用;当作那道关卡,不行。一个负责审查的模型是提升「抵达人类的那些东西的质量」的便宜办法——摘要、聚类、打标——而这直接抬高了容量。它做不到的是持有那个决定,因为它同时具备两个要紧的失败模式:同一段被注入的内容能抵达它,而它的判词是概率性的,而这项控制需要确定性。用它把人类那笔预算花得更好,把不可逆的效果留在一条外部策略后面,并且在你允许这个审查者自己动手之前,先读当检查必须动手。

这个季度做三件事。把你后果最重的那道关卡,绑到一份由「将要动手的那条代码路径」算出来的效果上,让审核者读 diff。把每一个能递出批准的界面列出来,并移除任何不可信文本能触达的。然后用你真心相信存在的那点审核者注意力去对照你的上报速率,并把「前者超过后者时机群怎么办」写下来。最小权限是让这三件事都养得起的那样东西:你每收窄一个工具,就是一道你永远不必配人的关卡。