评分智能体：分数恰恰是它唯一不该产出的东西。
成绩是一份可被申诉、并附带申诉权的记录，所以你的智能体一旦吐出那个最终落到成绩单上的数字，你就造出了一套自动化决策系统——带着正当程序义务，却没有任何正当程序机制。请反过来造：智能体产出与评分细则绑定的证据，以及一个唯一用途是引导人类注意力的暂定分数，于是你保住了几乎全部的人力节省，而作为记录的那个成绩仍可归因到某个人身上。这份手册里其余的一切都源于这一个「放在哪里」的决定——包括最可能让整个部署终结的那个功能：总会有人要求你加上的作弊检测器。
步骤 1先把「智能体被允许输出什么」定下来，别的都排在后面。
有三种姿态，而它们不是一条成熟度阶梯——它们是三种不同的产品，带着三种不同的责任画像。请为每一类考核各选一种并写下来，因为一旦吞吐压力到来，从第三种滑向第一种就是默认会发生的漂移。
# Three postures, by what reaches the transcript
EVIDENCE ONLY agent emits rubric-criterion findings with spans
human assigns every mark
saving: reading time, ~40-60% of marking effort
use for: anything summative, anything appealable
PROVISIONAL MARK agent emits a score + evidence; human confirms
or overrides; human's action is the grade
saving: adds triage, confirm-without-change is fast
use for: high-volume formative, low-stakes quizzes
AGENT OF RECORD agent's score is the grade
use for: practice sets with no transcript effect,
self-assessment, and nothing else
- 姿态是按考核定的，不是按产品定的。每周一次的低风险小测验和一篇期末论文，即便在同一门课里也是两种不同的法律对象；只要姿态是一项配置而不是一种习惯，同一个智能体可以同时服务两者。
- 把「确认」做成一个有成本的明确动作。如果确认就是在一个已经勾好的复选框上点一下，那你上线的是第三种姿态，而文档里写的是第二种。请要求评分者真的碰一下证据——打开一处引文跨段、确认一条评分项——并把覆盖率（推翻率）当作实时信号来度量，这正是评审队列处理任何高吞吐审批界面的方式。
- 监管者已经在别处把这个形状指定过了。招聘领域是已经走通的先例——一个可数、可归因的按候选人决策，这正是自由文本式「匹配度强，8/10」输出过不了审计的原因。先读招聘智能体拿到那套架构，再把它搬到这里来，因为考核就是同一个对象换了个名字。
步骤 2评分细则就是工具契约，所以要把它拆到可机械核查为止。
把一篇论文和一个整体性的 1–6 分制一起交给模型，得到的是一个毫无站得住脚的来源可言的数字。一次只交一条评分项、每条都返回一个绑定到提交稿某段文字的结论，得到的则是评分者几秒钟就能审完、学生也能与之争辩的东西。
- 按评分项一次调用，而不是按提交稿一次调用。分开调用能让各条评分项保持独立，而这正是阻止一个有力的论点陈述去抬高「引用准确性」得分的东西。整体性打分会让评分细则刻意分开的那些维度重新相关起来。
- 每条结论都带一处跨段定位。「评分项 3，部分达成」没法用；「评分项 3，部分达成——反方论点出现在第 41–48 行，但未被回应」则在一个对象里同时是一条评分批注、一份申诉证物，和一次给学生的反馈。绑定了跨段位置的输出，也正是让智能体的主张可被证伪、而不只是看着像样的东西。
- 把机械性的评分项整个切出去。字数、引用格式、必需章节、是否按时提交、代码是否能编译、测试是否通过——这些是确定性检查，永远不该走到模型那里。把它们移出去会缩小模型的面，也移走了最丢人的那一类错误。
- 在你花一个月打磨细则文字之前，有个值得知道的结果：关于自动精炼评分细则的已发表工作报告称，一份简单的初始细则在针对模型行为迭代之后，其一致性可与一份详尽的人工撰写细则相当、甚至更好。先写短的那份，然后用实证去改它。
按评分项拆解还有第二份回报，而它只在申诉时才显形：它把分歧局部化了。一个学生质疑一个整体性的「4 分」，质疑的是你整套系统。一个学生质疑评分项 3，质疑的是一条附带行号范围的结论，而一个人可以在两分钟内裁定它，不必把整份提交稿重新评一遍。
步骤 3指标是「与经裁定的人类评分的一致性」，而它不是准确率。
评分里没有所谓真值，只有彼此不一致的评分者。所以目标是与一个人类标准的一致性，并且要按考核测量学界的测法去量——也就是对双评并经裁定后的分数计算二次加权 kappa，而不是对某一个评分者的输出算准确率。
# The agreement set you have to build first 200-400 submissions, stratified by grade band, submission length, first-language status, cohort, and anything your rubric treats as neutral each marked independently by 2 humans disagreements adjudicated by a third -> the standard # Then report, per stratum, not just overall QWK(agent, standard) QWK(human_1, human_2) # the ceiling you are chasing mean signed error # direction of bias rate of >=2-band disagreement # what appeals come from
- 读 QWK 要对着人类上限读，永远不要对着 1.0 读。已报告的大模型作文评分一致性集中在 0.6–0.8 这个「相当一致」的区间——一项研究是 0.68，多样例提示达到 0.82（而零样例基线是 0.59），多模型陪审团是 0.76（对比 0.67）——而一项仅 20 篇作文的小规模试点落在 0.46。跨提示策略的差异大于跨模型的差异，这告诉你工程该下在哪里。
- 一个很高的 kappa 可能正是坏消息。研究者明确警告：很强的一致性可能意味着智能体学到了人类评分者本来就有的某种偏差，现在正把它规模化地延续下去。一致性是必要的，但不充分；要查出来，得看分层拆解。
- 务必按母语状况显式分层。已发表的分析发现，在包括「当前语言学习者身份」在内的特征上仍存在残余偏差。如果你拿不出按层的 QWK，你就无法声称这个智能体是公平的——而这一层正是监管者和学生最先会问的那一层。
- 不要让 QWK 成为你唯一的数字。作为单一判据，这个指标有已知的局限，而改变 kappa 的加权方式就会改变任何接受阈值的含义。请把它与「相差两档以上的分歧率」配在一起，后者才是真正产生申诉与评审负荷的那个量——关于为什么人类那个数字必须出现在报告里，见智能体评估中的人类基线。
步骤 4拒绝做那个作弊检测器。这是该守的山头。
第一次与利益相关方开会时就会有人要求加上 AI 文本检测，而诚实的工程回答是：在这个决策所要求的错误率上，那个测量并不存在。那项经典研究把七款 GPT 检测器跑在 91 篇写于 ChatGPT 问世之前的 TOEFL 练习作文上，记录到的平均误报率是 61.3%，而同样这些工具把 88 篇美国八年级学生的作文判对了。
- 其机制解释了为什么换个更好的厂商也修不了它。检测器看的是困惑度——用词有多可预测——而用第二语言写作的人会做出更简单、更可预测的用词选择。检测器量的是流畅度，报出来的却是作者身份。每一个盯着「受测对象可以廉价改变的代理量」的控制措施，都属于这同一个家族。
- 它同时在两个方向上失效。在同一项研究里，让模型用「用文学性语言提升给定文本」这样一句提示把 AI 文本改写一遍，检测率就掉到约 3%。于是这个工具对诚实的学生不可靠，对不诚实的学生又可被轻易绕过——对一套纪律处分流程而言，这是最糟的组合。
- 该造什么来替代它，而且更便宜。过程性证据胜过文本取证：草稿历史、修订时间戳、一道由学生自己那份提交稿生成的两分钟口头或追问题目，以及那些「成品本身从来就不是全部证据」的考核设计。智能体在最后这一项上是真的擅长——从某个具体段落生成一道个性化的追问题目，是它做得好、而人类很少有时间做的事。
- 如果机构坚持，就把你的坚持写下来。一个检测器分数可以用来支撑一次谈话；它绝不能成为一条结论、不能进入任何记录、不能独自触发任何流程。请把这条约束写进影响评估，那里它能在人员更替之后存活下来。
这个结构性教训能推广到教育之外：61% 的误报率不是一个调参问题，它是一份证据，说明分类器的输入里并不包含这个决策所需要的信号。当利益相关方要求一个检测器时，有用的反问是「在 61% 误报率下我们会做哪些不同的事？」——因为那就是你将要运行在的误报率，而答案通常是：根本没人打算依据它做任何事。
步骤 5先建申诉通路，再建评分通路。
考核是少数几个「争议流程是法律功能、而不是加分项」的智能体领域之一，而事后补建它代价高昂，因为它决定了你当初记了什么日志。
- 学生必须能够得知有智能体参与过。不是埋在某本手册里——而是在他收到的反馈上、用一句话、把姿态点明。这是寻常的披露义务，而在考核场景里，它同时也是让申诉变得有意义的东西。
- 记录证据，而不只是分数。六周后的一次申诉需要的是各条评分项结论、跨段定位、评分细则版本、模型与提示词版本，以及那位确认者的身份。那就是一份决策凭据，而它的留存期是学业申诉窗口，不是你默认的追踪 TTL——请刻意地去与追踪留存对齐，因为把一条评分轨迹采样丢掉就是在销毁证据。
- 重评必须能够完全无视那个智能体。如果申诉路径是用同样的提示词再跑一遍同样的模型，你给出的只是一道形式。被质疑的提交稿要交给一个没看过智能体输出的人，而这也让每一次申诉都成了给你一致性样本集的免费补充——正是可申诉性与申诉所描述的那条流水线。
- 评分细则的版本是不可变的。一个成绩只有对着「签发它时正在生效的那份细则」才站得住。请给细则做版本、按班级钉住，并且永不原地编辑。
步骤 6用你本来就有的那份双评预算来铺开。
多数机构本来就在「抽样双评」上花着一笔固定的人力。那笔预算既是正确的资金来源，也是正确的控制回路——它把这次部署从一次信念跳跃变成一次被量过的替换。
- 先影子评分，跑满一个完整周期。智能体评所有的；谁也看不到它的输出；周期结束时你拿它与人类做对比。一个周期就能给你一致性数字、按层拆解，以及相差两档的分歧率，而没有任何学生受到影响——标准的影子模式。
- 然后挪动的是抽样，不是评分。把人类总工作量保持不变、重新定向：少做一些平铺式的双评，多做一些针对性的复核——恰好针对那些智能体与第一位评分者不一致、或者智能体自己各条评分项结论互相冲突的提交稿。分歧是比随机更好的抽样键，而这一步才是真正把产能买回来的那一步。
- 盯漂移要盯在班级边界上，而不是每周盯。评分是有季节性的：换了班级、改了题目措辞、换了作业，分布就重置了。请在每个班级重跑一致性样本集，而不是按日历跑；并把一次模型或提示词变更当作一次新的一致性评测——也就是质量回归检测里的那套纪律。
- 汇报评审者的时间，因为那才是商业论证。每份提交稿的分钟数与「确认而不改动」的比例，是决定这件事到底有没有省下东西的两个数字；而那些工时在解除某个约束之前并不是钱，正如碎片化的时间节省讲明的那样。