电子取证与文档审阅智能体。
目前公开的、把生成式 AI 与托管式审阅流程放在一起比的最好一项研究发现:AI 达到约 88% 召回率、29% 精确率,而托管流程是 64% 召回率、39% 精确率——也就是说,智能体多找出了三分之一的应答文档,同时把近两倍的文档塞回给你看。整个工程问题就在这一句话里:你买到的不是更便宜的审阅,而是另一种成本分配;而你必须拿去辩护的那件产物,不是模型的分数,而是一份对"你决定扔掉的那一堆"所做的、测量过并记录在案的遗漏率检验。先把这套测量装置搭起来,模型就变成可替换的了。
步骤 1真正被测量过的那两个数字。
这个市场里多数说法都是厂商自报。有一项研究不是:2026 年 Redgrave LLP 的一份工作论文,在取自 UCSF 阿片类药物行业文档档案馆的 45,004 份文档总体上做了一次比较——那是一个公开语料,所以这次练习可复现,而厂商案例研究做不到。按 2026 年 10 月业内报道对该论文的综述,主要数字是:
- 生成式 AI 审阅(Relativity 的 aiR for Review):87.7% 召回率、28.6% 精确率。
- 托管式审阅,使用主动学习分类器(Relativity Assisted Learning):64.4% 召回率、39.2% 精确率。
- 该论文自己的论点是:一个提示词写得妥当的生成式流程,可以被安放进既有的"技术辅助审阅"参考模型里——换句话说,可辩护性的那套框架不必重造,只需要重新装上仪表。
请把那些小数点后的数字当作"一个语料、一套提示词、一项研究",而把其形状当作可迁移的发现。形状是一次反转:生成式审阅者的敏感性显著更高,特异性显著更低。它把更多你要找的东西捞进来,也把多得多的你不要的东西一起捞进来。本页之后的每一个决策都源自这一个不对称,而常见的错误是:只看召回率那个数字,就断定审阅变便宜了。
这个领域里厂商自报的数字大多聚集在 90–95% 召回率、80% 以上精确率。那些数字与上面的并不可比,因为精确率完全取决于应答性标准是怎么划的、以及语料有多"富集"。当厂商报出一个精确率时,请追问测试总体中应答文档的占比;一个在 40% 富集度语料上取得的高精确率,对你那个 8% 富集度的语料毫无信息量。
步骤 2在买下召回率之前先给它定价,因为成本会在下游重新出现。
把这个不对称放到一桩具体案件上算一遍。去重与筛除后剩 100,000 份文档;假设其中 12% 真正应答,即存在 12,000 份应答文档。把两组工作特性分别套上去:
# 100,000 documents, 12,000 truly responsive (12% prevalence) recall prec. surfaced responsive missed non-resp found in pile surfaced generative review 88% 29% 36,414 10,560 1,440 25,854 active-learning TAR 64% 39% 19,692 7,680 4,320 12,012 # surfaced = responsive_found / precision delta: +2,880 responsive documents found, +16,722 documents to review # at a second-pass review cost of $1.00/doc (your number will differ): # +$16,722 of review buys 2,880 more responsive documents # = ~$5.80 per additional responsive document recovered
最后那一行,才是该摆到批预算的人面前的数字,而它恰恰是没人引用的那个。有时候一份文档 5.80 美元显然值——那种漏掉一份文档就意味着制裁风险或一句决定成败的自认的案件。有时候显然不值。要点在于:这是一个有价格的决策,而单看召回率会把价格完全藏起来。
两处调整能让估算诚实些。第一,对捞出集的第二遍审阅并不是满价的第一遍审阅;有模型写好的理由附在旁边、人去确认或否决,会快得多,这正是人工审核的成本所量到的效应。第二,令牌成本是真实的,但通常是次要的:文档审阅是对一段长输入做逐文档推理,所以账单按"语料规模 × 文档长度"增长,并由输入侧主导——其形状见单位经济学。请在试点之前用你真实的富集度把账算出来,而不是之后。
步骤 3交付物是一个被检验过的丢弃集,而它的抽样量不随语料规模增长。
这是多数团队太晚才抵达的结构性洞见。没有人会去审计你的分类器。被审视的是你决定不提交的那一堆,而关于那一堆的唯一证据,是从里面抽出的随机样本。这个度量叫遗漏率(elusion):流程丢弃掉的文档中应答文档的比例。
接着上面的例子。生成式那一轮丢弃了 63,586 份文档,其中含 1,440 份应答文档——遗漏率 2.26%。TAR 那一轮丢弃 80,308 份,含 4,320 份——5.38%。协议争议真正争的是这两个百分比,而不是那两个召回率。
而你需要多大的样本来给它们定界,是由"界"决定的,不是由语料决定的:
# elusion sampling: n is driven by the rate you must rule out, # NOT by how many documents are in the discard pile. sample 500 from the discard set, find 0 responsive -> 95% upper bound on elusion ~= 3/500 = 0.6% # "rule of three" sample 500, true elusion is 2.26% -> expect ~11 responsive documents. you will find them. sample 500, true elusion is 0.5% -> expect ~2.5. too noisy to act on; n must rise to ~2,000 # corollary: a 10-million-document discard pile needs the same # sample as a 60,000-document one. "the corpus is too big to # validate" is not a statistical claim, it is a budget claim.
于是协议的写法自己就按正确顺序排好了:在开跑之前定下你愿意接受的遗漏率上限,由它推出样本量,随机抽样(不按日期、不按保管人、不按模型置信度),让人盲编码,然后算出置信上界。若上界超过你的上限,就做补救——下调应答性阈值、重写提示词、对受影响的保管人重跑——然后再抽一次。这个循环才是产品。模型是它里面的一个零件。阈值设定作为一门通用纪律,是决策模型阈值;底下那套标注作业是标注与打标运营。
步骤 4应答性标准就是新的种子集,所以请像对代码那样给它做版本管理。
在主动学习的流程里,被争议的那件产物是种子集——哪些文档被编码了、谁编的、按什么标准。在生成式流程里,被争议的那件产物是标准文档:对"本次请求下应答意味着什么"的书面描述,它会变成提示词。它现在是整次审阅中杠杆最大的那个对象,而它通常存在某个人的聊天记录里。
- 把它当作一个有版本的文件。每一项提交请求一个文件,进源码管理,带日期和作者。标准一改,此前在旧文本下做出的每一个编码决定都随之失效——就像改种子集一样。
- 把模型及其版本一起钉住。提供商侧一次静默的模型更新,会在审阅中途改变你的工作特性,而输出里没有任何东西会这么说;这就是未钉住的厂商默认值里的那种故障,而在一次审阅里,它意味着同一次提交的两半是由两个不同的审阅者编码的。
- 记录逐文档的理由,而不只是结论。一个"应答/不应答"的比特位无法复核。一句引到触发该判断那段文字的说明,才是让第二遍变快、让验证样本可编码的东西,也是日后任何质询的原材料——这就是审计轨迹的记录论证。
- 标准每改一次,就把验证集重跑一遍。固定留一组几百份、由人编码、覆盖那些难判的文档,并按评测的意义把它当作回归测试套件。改标准就是改提示词,而改提示词会回退。
有一个上游依赖比上面这些都更要紧:模型读到的文字,是否就是文档里的文字。扫描件证物、电子表格、带引文历史的邮件串、以及内嵌附件,各有各的失败方式;而一份在抽取时丢掉了表格的文档,就是一份模型从未见过的文档。请在量审阅准确率之前,单独量一遍抽取保真度——面向 RAG 的文档解析讲了那些失败模式,而Marker vs MarkItDown vs MinerU vs Docling 比较了抽取器。
步骤 5特权认定是另一个问题,没有哪个召回率目标能覆盖它。
应答性在统计上容许错误:你争的是一个界,然后去补救。特权认定不这么运作。一份无意中被提交出去的特权文档,是一个离散事件,有它自己的后果,所以可接受的错误率不是一个你去谈判的百分比——这意味着架构必须不同,而不只是阈值不同。
- 让模型排序,不要让它决定。在特权这一遍里,有用的输出是一个校准过的分数外加理由——点到了律师、在寻求法律意见、显示为工作成果——喂给一个由律师逐条处理的队列。决定权留在签字的那个人手里。这是人在环中的模式,而实现方式是一个审核队列,不是一个审批弹窗。
- 把它跑成一遍单独的、有自己标准的流程。把特权检测折进应答性提示词里,会让两者都变差,而且让两者都不可测量。两遍、两份标准文档、两组验证集。
- 把模型用在它格外擅长的那件事上:特权清单。依据文档自身的元数据和正文起草清单条目,是高量、结构化、可核验的工作,末尾再加一道人工检查——这比让它做判断本身合适得多。
- 专门盯住"自信地错"那一类。为一个特权判断编出一个像样理由的模型,才是危险的那个,因为审阅者信的正是那条理由;见幻觉与接地,并要求每一条理由都必须引用文档原文。
"充分监督"要求什么,因司法辖区与审理法院而有实质差异,而本页不是法律意见。普遍成立的框架是:在对抗式民事取证中,是人在提交上签字,并证明其背后的检索是合理的,而没有任何工具能转移这份责任。请把系统建成这样:签字的那个人能说清流程、能拿出验证结果、能解释补救措施——并且不要在你的协议里引用规则编号、律协意见或案件名称,除非经办律师已经核实过它们。
步骤 6按这个顺序,把它作为一次被测量的试点发布出去。
顺序很要紧,因为每一步都产出下一步所需的证据;也因为那个昂贵的错误——跑完整个语料,然后才发现标准写错了——是完全可以避免的。
- 从一个已经被人编码过的语料开始。一桩结案的案件连带其人工编码决定,就是你本来就拥有的一份基准真值。拿智能体跑一遍,你就在自己的文档、自己的抽取管线、自己的标准写法上得到了召回率、精确率和遗漏率——这比任何公开基准都值钱,理由见智能体评测中的人类基线。
- 在第一次正式跑之前,把验收标准写进协议——遗漏率上限、样本量、谁来编码样本、什么情况触发补救。在审理法院与对方允许的范围内,事先就验证协议达成一致,能把日后关于方法论的争吵,变成关于数字的争吵,而后者是好打得多的一场。
- 留出一片盲测切片。保留几百份模型直到最后都看不到、由人独立编码的文档,用作最终检验。一个被反复迭代过的验证集,就是一个训练集。
- 把验证报告当作交付物,而不是副产品。总体规模、富集度估计、标准版本、模型及版本、对照集上的召回率与精确率、丢弃集上的遗漏率上界、已采取的补救。一页纸。它是让这次审阅可辩护的那件产物,也是唯一会有人真去读的那一件。
- 把整条链置于本案的保留规则之下。标准版本、提示词、逐文档理由、样本编码和那份报告,现在都已是记录的一部分——见保留与法律保全;另外要注意,模型提供商是否留存你的文档正文,本身是一个独立的尽调问题。
如果本页只做一件事,就做那次回测:取一桩已由人类审阅完的结案案件,让智能体在上面跑一遍,然后对照既有编码算出召回率、精确率与遗漏率。仅这一次运行,就会告诉你你真实的富集度、你在真实标准下的真实精确率,以及由此而来的——多出来那部分召回率的实际美元成本;这三个数字决定是否上线,而没有任何厂商能告诉你其中任何一个。然后在跑正式案件之前,先把遗漏率抽样循环搭好,因为丢弃集才是你将来要去辩护的东西;而在你已经据此提交之后再从那堆里补抽样本,价值非常有限。关于这个领域更宽的框架——法律智能体在哪里有效、在哪里编造、以及监督格局——见法律智能体。