公共福利经办智能体。
2013 至 2015 年间,密歇根州的 MiDAS 在无人复核的情况下自动裁定失业金欺诈,指控了三万四千多人;后来的复查发现其中约 93% 的裁定是错的,该州最终以两千万美元和解。荷兰的育儿补贴丑闻错误指控了约两万六千个家庭,要求一次性全额退还通常在两万到六万欧元之间的款项,并在 2021 年 1 月拖垮了一届内阁。这两场失败都不是模型问题——两套系统都在"做决定",而唯一站得住的设计是:智能体负责把证据组装起来,由一个具名的人做出裁定。
裁定是一项法律行为。智能体可以组装,不可以决定。
批准或拒绝一项福利,不是一条带置信度的建议。它创设或消灭一项权利,必须附具理由,并且可被申诉——这意味着它的每一个部分,都得经得起被裁决庭回头逐字读一遍。
- 在唯一重要的那条线上把工作切开:一侧是收集、核验与组织证据,另一侧是把规则适用于事实。前一半是时间真正被吃掉的地方,也是智能体确实出色的地方。后一半是那项"行为",它留给一个能被写进卷宗的经办人。
- "有人复核"不等于"由人决定"。如果智能体产出裁定、经办人的工作是点批准,你造出来的就是加了一枚橡皮图章的 MiDAS——那个人正是系统当初被买来消除的吞吐瓶颈,于是所有压力都朝着"批得更快"去。让智能体产出的是卷宗包,不是判词:认定了哪些事实、每一条的证据、适用哪些规则,以及还缺什么。
- 不利处分与有利处分并不对称。拒绝、终止、追缴或欺诈移送,需要与批准不同的门槛,因为它拿走了东西,而扭转它的举证负担落在申请人身上。智能体或许可以合理地缩短通往"是"的路径,但绝不该缩短通往"否"的路径。
- 绝不让智能体结案。"逾期未回应即自动关闭"正是伤害最集中的地方:那个错过通知的申请人,恰恰更可能是最需要这份福利、也最收不稳信件的人。把"未回应"路由到人工队列,而不是路由到终态。
把这条边界写成系统属性,而不是政策条文:智能体的输出类型是"卷宗包",并且代码里根本不存在一条能在没有经办人身份的情况下把卷宗包变成裁定的路径。由类型系统强制的规则,熬得过积压翻三倍的那个季度;写在手册里的规则熬不过。
政策是带版本的法律,所以检索必须钉死在申领日期上。
这条要求会悄无声息地压垮每一套标准检索栈,而且没有人把它写下来。资格由所申领期间当时生效的规则决定——不是由你索引里今天那份规则决定。
- 今天提交的一份申领,覆盖的期间可能横跨三套不同的规则。收入门槛逐年调整,类别资格随立法变动,应急条款按生效日期开开关关。一个返回"当前政策手册"的检索层,会在每一份追溯申领上产出一个自信的错误答案——而这个答案看上去与正确答案一模一样。
- 给每个政策切片打上生效起止日期,并把申领日期作为强制过滤条件——不是排序信号。如果日期缺失,检索必须失败,而不是退回到当前政策。这是"硬报错远远优于优雅降级"的那种地方。
- 语料远不止法条。法规、机关手册、政策备忘、豁免函,以及解释上述一切的申诉裁决。每一样都有自己的生效日期与自己的效力位阶;一个引用了十八个月前已被取代的手册段落的智能体,产出的是一个读起来极具权威的缺陷。
- 引到版本,而不是引到文件。卷宗包里的每一条论断都指向某一版本某一段落,并附上人能点开的定位。没有这一点,就没有人能在队列允许的时间内核对智能体的工作——这正是引用与来源归属的交互设计的全部论点。
刻意去测一次:取一份两年前已结的案子,让它跑一遍现在的系统,看看智能体检索到的是不是当时真正生效的规则。多数栈第一次都过不了这一关,而且是无声地过不了——它在你现有的每一项指标里都不可见,因为输出流畅且自洽。
把裁定卷宗冻结,因为申诉是几个月之后才到的。
申诉的审理发生在运行很久之后,而那时系统的模型、提示词、索引与政策语料都已经换过。如果你重建不出当时经办人看到的是什么,机关在庭上的立场就无从支撑。
- 快照的是"当时呈现了什么",不只是"存了什么"。检索到的段落、适用的规则版本、认定的事实及其出处、模型与提示词版本,以及裁定那一刻经办人屏幕上的内容。事后重新生成会得到一份不同的卷宗,而一份不同的卷宗不是证据。
- 卷宗包是记录,不是遥测。它必须置于任何可能删掉它的采样或保留策略之外——正是轨迹采样与保留所论的那条区分——而它的存续期是申诉窗口加上法定档案保存期,不是三十天。
- 把智能体核验不了的东西记下来。一份"四条事实已确认、两条未核验"的卷宗包,在庭上远比一份把六条以同等确信度并列呈现的有用。而那份"未核验"清单,同时就是经办人的工作队列。
- 保留人的修改。当经办人推翻智能体的认定时,这处分歧既是"存在独立判断"的最强证据,也是你能拿到的最高价值的训练与评测信号——见生产反馈信号。把推翻动作与理由作为一等字段记录下来,绝不要让它变成没人读的自由文本。
危险的错误是那些没人申诉的拒绝,而申诉率探测不到它。
这个领域里每一张看板都在报"申诉改判率",而它恰恰在最要命的那个方向上是坏的——因为提起申诉所需要的能力,正是受影响人群最不可能具备的那种。
- 选择偏差的方向是反的。会去申诉的申请人有时间、有识字能力、有稳定住址,往往还有人帮忙。而那个被错误拒绝、却没有申诉的人,只是从你的数据里消失了,于是你的质量指标变好了。MiDAS 与荷兰那两起里,受害最深的人恰恰最没有能力去抗辩,这正是那些失败得以持续多年的原因。
- 用抽样审计去测,而不是用投诉去测。随机抽取一批裁定——向拒绝加权——交给有经验的裁决人员在不知原结果的情况下重新裁一遍。那个数字才是你真实的错误率;申诉统计量出来的,只是"谁够得着你"。
- 把分群的拒绝率当作先行指标盯着。按申领类型、语言、渠道与地域,与引入智能体之前的基线比对。集中在某一个分群上的漂移,是那个赶在诉讼之前到达的信号,而且算它根本不需要真值。
- 把裁定时长与中途放弃率一起追。一个把批准提速、却同时抬高了"办到一半就放弃"比例的智能体,是把伤害挪了个地方而不是减少了它——它开出的每一次补充材料要求都是一份负担,每一份都是一次失去某个人的机会。
- 绝不让智能体做欺诈移送。欺诈是一项带刑事风险的指控,也正是自动化系统造成过最多有据可查的损害之处。智能体可以把一处不一致标出来供人复核;移送是一项写着人名的人类行为。
通知书才是产品,而给出的理由必须是真正的理由。
申请人体验不到卷宗包,他们体验到的是一封信。如果这封信没有具体说清缺了什么、错在哪里,申诉权就只是名义上的——人没法去补一个从未被点名的缺陷。
- 写出来的理由必须是起作用的那个理由。事后生成的一段说得通的概述,是一次事后合理化,一经审查就会与卷宗记录分岔。让通知书由驱动裁定的那同一份结构化认定生成,这样两者就不可能不一致。
- 具体说清下一步做什么。哪一份文件、覆盖哪一段期间、寄到哪里、什么时候之前。"材料不足"根本不算通知;它点的是一个结论而不是一个动作,并把一个补得上的缺口变成了一次拒绝。
- 为读者而写,用他们的语言,按你真正测过的阅读难度。这是这项技术明确带来好消息的地方:把一组固定的认定改写成平实语言并忠实翻译,是一项形状良好、输出可核验的生成任务,而它改善的恰恰是那个被申诉统计藏起来的人群。承载法律含义的术语要原样保留,见翻译与本地化智能体。
- 披露有自动化系统参与,以及如何找到人。这在多数法域现在已是义务;除此之外,"未经披露的自动化拒绝"正是把一次行政差错变成一场丑闻的那个事实。做法见披露与内容来源。
从哪里开始,以及什么才真的能压下积压。
本能是去自动化裁定,因为队列明显堆在那儿。但回报更高、风险低得多的,是"在能够做决定之前"发生的一切。
- 从收件完整性开始。积压的大部分不是"未裁定的案子",而是"在等一份缺失文件的案子"。一个在材料到达时就读一遍、趁申请人还在会话里就告诉他确切缺什么、并在重新提交时再核一遍的智能体,能在完全不碰裁定的前提下砍掉数周的来回。
- 然后是证据组装。把工资记录、既往申领、身份核验与相关政策版本调出来,并排摆在构成要件旁边——这是经办人最慢的那部分活儿,它是检索而不是判断,而且完全可审计。
- 然后按复杂度分流,绝不按预测结果分流。把"可能会被拒的"送进快车道,就是让预测从后门变成裁定。按"一个案子需要多少核验"来分流——那是证据的属性,不是答案的属性。
- 把提交上来的文档当作不可信输入。申请人会上传 PDF 与图片,其中一部分会是对抗性的。把解析隔离出去,绝不让文档内容未经过滤地进入一个带工具的上下文,并把提示词注入围堵当作架构要求而不是政策。
- 采购时就想着卷宗。模型、政策语料或供应商换了之后,机关照样欠着一份"按旧栈做出的裁定"的重建。版本钉死与可导出的裁定记录应当写进合同,而不是留给日后的迁移方案——该问供应商什么,见第三方模型与厂商风险。
动手造任何东西之前,先做那个"两年前的案子"测试:取十份两年前已结的案子,跑一遍你打算建的系统,查三件事——它检索到的是不是当时生效的规则、它的卷宗包能不能重建出经办人当时会看到的东西、以及它是否与那个熬过了申诉的结果一致。多数设计过不了第一关,而且从来不知道自己没过。然后在系统的整个生命周期里守住一条线:智能体产出卷宗包,人在裁定上签字——因为定义了这个领域的那两场失败,都是由在积压压力下一步一步把这条线往前挪的人造出来的。
相关:保险理赔智能体——私法义务下同一种证据组装形态;KYC 与反洗钱开户智能体——同一种误报积压模式;人在环路——如何让复核是真的;以及面向智能体的欧盟 AI 法案——为什么"获取公共福利"被列为高风险。