欺诈与争议处理智能体。
这个领域有两个事实,会在你动笔之前就把设计整个翻过来:拦掉好客户给行业造成的损失,比它拦下的欺诈高出大约一个数量级;而告诉你「你刚才做的是哪一种」的那个标签,最晚要 120 天后才到——只对你放行的交易到,对你拒掉的则永远不到。一个以「抓到多少欺诈」为目标调出来的智能体,再配上一块读本周数据的看板,等于在用一个尚未成真的数字,去优化那个更便宜的错误。
代价函数和大家实际建的那个正好是反的。
从这份不对称开始讲,因为后面每一个决定都是它的下游。2026 年 1 月公布的 Nilson Report 数据,把 2024 年全球银行卡欺诈损失定在 334.1 亿美元。而账本另一边——被误拒的合法订单——业界对 2026 年的预测超过 2,310 亿美元;Javelin 那个被广泛引用的估计,把误拒的代价定为实际欺诈的约 13 倍。平均误拒率在电商销售额的 1.5% 上下,而针对被拒订单群体的研究发现,其中 30% 到 70% 本来是好的。
看看这对你的目标函数意味着什么。一个通过收紧阈值多拦下一笔 200 美元欺诈、同时也多拒掉十一笔好单的模型,是亏钱的;而这笔亏损落在你的欺诈看板显示不出来的地方:那位在结账页被拒、换了张卡、然后再也没回来的客户。所以:
- 每个决定都用两种货币计价,不是一种。规避掉的预期欺诈损失,以及被拒绝的好客户的预期价值。如果你的复核队列只按欺诈分排序,那它排的只是目标函数的一半。
- 让阈值成为业务输入,而不是模型输出。分数是一个概率,切点是一个价格。谁对营收负责,谁就该拥有这个切点,并且应当被告知它在「被拒的好客户」上花了多少钱——见校准,因为一个未校准的分数会让这笔账根本算不出来。
- 先分群,再定阈值。一个开了四年的账户下的 12 美元复购单,和一笔发往货代地址的 4,000 美元首单,不该放在同一把尺子上;而一个全局阈值,会为了控住后者而悄悄过度拒绝前者。
该摆到团队面前的是这么一句话:我们要建的不是一个欺诈检测器,而是一个决策系统,而它代价最高的那类错误,我们看不见。本手册剩下的全部内容,都是让那类错误变得看得见的机器。
你拒掉的那些不产生任何标签。那就有意去把标签买回来。
这里有一个再高的模型质量也修不好的结构性问题。一笔被放行的交易,最终会告诉你它是不是欺诈:拒付要么来,要么不来。而一笔被拒绝的交易,永远什么都不会告诉你。它从不结算,因此永远不会被争议,因此不会产生任何可供学习的结果。你训练的每一个模型、你跑的每一次评测,拟合的都是「现有系统选择放行」的那一部分人群——而那套系统越准,训练数据就越偏。这就是选择性标签(selective labels)问题,而在欺诈领域它不是什么细枝末节,它就是整个测量本身。
诚实的解法恰好只有一个,而且它按设计就是要花钱的:把你本会拒掉的交易随机放行一小部分,并承受那部分欺诈。
- 把它当预算科目来定规模,别当实验来定。取被拒交易的千分之几,按月设一个绝对金额上限,预期损失事先写下来,并由对损益表负责的人签字。把它讲成「知道我们误拒率的成本」,这是一个站得住的数字;把它讲成一次工程请求,它一定会被否掉。
- 该排除的要排除,而且要说清楚。已确认被盗的卡、命中制裁名单的、以及任何带反洗钱维度的,一律不进这个留出组。样本只从普通的按分数拒绝里抽,而误报本来也就住在那儿。
- 它是你真正在管的那个数字的唯一来源。放行人群上的欺诈率,没有它也测得出来;误拒率则没有它就根本测不出来。跳过这一步的团队,最后只能靠客户投诉去估自己代价最高的那类错误,而这会低估到「投诉的人数比走掉的人数」的那个比例上去。
其余的一切——原因码分析、试卡行为检测、智能体自己的推理轨迹——都是佐证。留出组才是基本事实;也正因如此,这个领域没法从别处照搬评测手册,问题的一般形态见在线评测与离线评测。
日历是一项设计约束,而且比你的看板长得多。
在答应任何指标之前,先把真实时间线写到墙上:
- 争议最长可在 120 天后才提起。Visa 与 Mastercard 的规则通常给持卡人自交易日起 120 天——货物未收到的情形则自预计送达日起——来向发卡行发起争议。所以你今天做的一个决定,其结果要到大约四个月后才最终确定。
- 入口那一侧是 10 个工作日,然后 45 天。依据 Regulation E,美国金融机构在调查一起被主张的差错时,必须在 10 个工作日内解决,或者先给客户临时入账、再用至多 45 天调查——对销售点、境外发起以及新开户的转账,则延长到 90 天。这些是法定期限,时钟自「收到通知」起走;这让争议受理在成为一个智能问题之前,先是一个 SLA 问题。
由此有三个后果,而每一个都打破了一个从别的智能体项目里带来的习惯:
- 在真正重要的那个指标上,没有在线评测。你看板上关于本周欺诈率的说法,来自一个只被部分观测到的队列。请按决策队列报告,并附上明确的成熟期——「已成熟 60 天的队列」——并且拒绝拿一个两周大的队列去比一个成熟队列。谁读那个最新鲜的数字,谁读的就是错得最厉害的数字,而且它永远错在讨人喜欢的那个方向。
- A/B 测试要跑一个季度。照这个来排期。你能早期读到的是行为——通过率、队列深度、结账放弃率、分析师改判率——它们是先行指标,不是结果。就把它们当成本来面目的生产反馈信号。
- 拿未成熟数据重训,训的是乐观。一条拉取「最近 30 天」的流水线,正在系统性地把近期欺诈标成合法,因为它的拒付还没到。要么排除掉未成熟窗口,要么给它加权,并且绝不要让一个自动重训任务自己去定义那个窗口。
把智能体挡在授权路径之外,放进案件里。
实时决策不是语言模型该待的地方,而理由是延迟预算,不是能力论断:一次发卡行授权应答的预期是在数百毫秒的量级,其中风险决策分到的那一片以几十毫秒计。那是一个跑在表格特征上的梯度提升模型,而它就该继续是——确定性、经过校准、快,并且能用监管机构会问的那套话解释清楚。
真正坏掉的是那个决定周围的一切,而它们全都是证据组装:
- 调查。一条告警到来时只是一个分数加一个 id。然后有人打开六个系统——设备历史、既往争议、关联账户、商户历史、KYC 档案、客户的联系记录——把一个故事重建出来。这份检索与综合的活儿,恰恰是智能体擅长的,也正是分析师那一小时真正花掉的地方。
- 案件卷宗。产出是一份书面叙述,逐条引用它所依据的记录,外加一条建议和一个置信度。像评判任何一位分析师那样去评判它:一位称职的复核者,仅凭这份卷宗,会不会得出同样的结论?如果卷宗支撑不起那条建议,这次运行就是失败的——无论那条建议本身对不对。
- 争议应答。在商户这一侧,representment 是一件有规则手册的文档组装工作——卡组织的「有力证据」要求明确规定了什么算数,而大多数败诉是程序性的而非实体性的。一个照着原因码自身清单去组装证据包的智能体,做的是没有歧义的工作。
能在生产环境里活下来的分工是:模型来决定,智能体来解释与调查,人来批准一切不利决定。反过来——让智能体拍板、让模型去校验——会在延迟上败、在可审计性上败,并在第一次监管检查时败。
两份文档,永远不是一份——以及合规面上其他几处锋利的边。
这个领域有一些大多数智能体手册从未碰过的法律边缘,而其中一处会咬到一个再普通不过的摘要功能:
- 面向客户的说明与内部案件记录是两份不同的文档,必须分开生成。凡涉及可疑活动报告(SAR)的情形,美国法律规定该报告的存在本身即为保密——你不得向客户披露,直接或暗示都不行。一个热心地写好一份叙述、然后把它复用到客户通知里的智能体,就是一起带模板的「通风报信」事故。要在结构上强制隔离:分开的提示词、分开的输出,以及一条硬规则——内部案件文本永远不能成为客户文本的来源。
- 不利决定需要一个人能替它辩护的理由。凡属信贷决定的,会触发告知义务;更广义地说,一个对个人产生重大影响的自动化决定,正是监管者最关心的那一类,而「模型说的」不是一个理由。要在不利路径上保留人工批准,并且让它是真的——一个看不到证据的批准人,就是一枚署了名的橡皮图章,比没有批准人更糟。见问责与角色。
- 在做决定的当下,就把决定、它的输入和模型版本记下来。四个月后争议到来时,「我们当初为什么放行了这笔」必须能从记录里答出来,而不是从一个你早已重训过的模型里去重建。这就是带着长尾巴的审计轨迹要求。
- 别让智能体成为客户提出欺诈主张的那条通道。Regulation E 的时钟自「收到通知」起走,而通知可以是口头的。一个「处理」了投诉却没有把它登记为差错通知的受理智能体,不是挡下了一张工单,而是启动了一个没有记录在案的法定计时器。
相邻地带:KYC 与反洗钱开户智能体处理同一份档案的身份那一侧,而安全运营智能体与本页共享同一套告警分诊模式。
记分牌,以及那个没人愿意公布的数字。
四个数字,一起报告,都基于已成熟的队列:
- 由「照放不误」留出组估出的误拒率。整本手册之所以存在,就是为了让这个数字可计算。永远把它和欺诈率并排公布,因为单独展示的欺诈率,只要把所有人都拒掉就能优化到零。
- 决策净值。规避掉的欺诈损失,减去被拒绝的好客户的估计价值,按每千次决策计。这是唯一一个能让阈值调整被诚实评价的数字;而对于某人当成战功发布的最后那一档收紧,它常常是负的。
- 分析师对智能体案件卷宗的一致率。在盲评复审的抽样里,复核者拿到智能体的卷宗后得出与智能体相同建议的比例。一致率下滑是「检索已经漂移」的最早信号,而且它比拒付数据早几个月动。
- Regulation E 的时钟合规率。10 个工作日内发出的临时入账;45 天或 90 天内结案的调查。枯燥、二元,而且正是会变成一条检查发现的那一个。
结案数、分诊过的告警数、节省的工时,在这里以一种很具体的方式属于虚荣指标:这三个数都会随着智能体变得更果断而上升,而 STEP 1 里那份不对称说的恰恰是——对「更果断」要小心。
如果你从这一页只做一件事,那就把「照放不误」留出组建起来,并让它的预算签字生效。没有它,你对自己代价最高的那类错误没有任何测量,这意味着每一次阈值调整都是一个不可证伪的主张,每一次模型升级都是在目标函数中讨它欢心的那一半上打分。有了它,剩下的就是普通工程:授权路径上一个快速、已校准的评分器,它后面一个做证据组装的智能体,一切不利决定上都有人,外加一块只报告「老到足以为真」的队列的看板。
延伸:财务智能体讲对账纪律,质量回归检测讲如何不等结果就抓住漂移,而人在回路讲一道审批关卡要包含些什么才配得上它的延迟。