辅导与学习智能体

7 分钟读完

Y12
实战手册 · 领域实战手册

辅导型智能体:唯一一个"把活儿干得漂亮"就等于失败的领域。

这一章里其他每一种智能体,评分标准都是有没有把事情做完。而辅导型智能体的评分标准是:学习者事后、在没有它的情况下能不能把事情做出来——这就让"乐于助人"和真正的目标直接对立起来。你把题解了,就等于把学习信号删掉了,而学习者还会为此给你打五星。这处颠倒就是全部设计要点:有所保留才是产品、满意度是错的指标,而与你同时存在的那套考核,其实已经坏掉了。

STEP 1

先把目标说清楚,因为最顺手的那个是错的。

要交付的是可测量的"无辅助能力"变化,而不是一次愉快的会话。这个区分不是哲学问题——它决定了你记录什么、优化什么、以及哪一版 A/B 测试会赢。按会话内信号优化的辅导智能体,最终一定收敛成一台答案机,因为那能把你手边现成的每一个代理指标都拉满:任务完成率、会话满意度、解决耗时、点赞率。这四个一起上升的同时,学习效果在下降。

  • 测"无辅助的、之后的"表现。评估工具是辅导者不在场时做一道可比题目的表现,最好隔一天以上,而不是会话进行中的正确率。
  • 测迁移,而不是重复。能把刚讲过的那道题原样再做一遍的学习者,背下来的是一条轨迹。把表层特征换掉、把结构保持不变;两个分数之间的差距才是诚实的信号。
  • 把"满意度高而后测持平"当成警报。那是辅导者已经变成解题器的特征,也是这类产品在所有看板一片绿的情况下失败的最常见方式。

教育研究里那套被证明有效的设计,是一位从不主动给出答案、并且总是追问下一步的辅导者。这不是客气——检索所需的努力正是学习发生的地方,所以一个把努力拿掉的智能体,也把机制一并拿掉了。这类陷阱的一般形式见结果评测 vs 轨迹评测

STEP 2

把提示阶梯搭出来,并且拒绝跳级。

核心行为是一套分级响应策略:每一次求助,智能体给出的都是"足以让这位学习者继续往下走"的最小帮助,并且只有在他又试了一次之后才升级。一旦不加约束,模型做的恰恰相反——它会产出完整、正确、排版漂亮的解答,因为它被训练成认为那才叫好答案。

  • 第 1 级——定位。指出相关概念,或者指出推理在题目的哪一处走偏了。不给内容。
  • 第 2 级——发问。问那个"答上来就能过这一步"的问题。"这里分母必须满足什么条件?"
  • 第 3 级——同构例题。一道结构相同但不是本题的完整例题。教学价值大半在这一级,而大多数辅导者从没走到这里,因为它们在第一次求助时就跳到了第 4 级。
  • 第 4 级——局部。只给下一步,其余留白。
  • 第 5 级——带讲解的完整解答。可以到达,但以一次真实尝试为门槛,而且它的主要用途是事后复盘的材料。

用结构而不是靠指令来执行这套阶梯。把当前级别记进会话状态、要求任何升级之前必须夹着一次学习者的尝试、并按任务类型给可达级别封顶——一份计分作业根本就不该把第 5 级接上。一句"不要给答案"的提示词,只是一个建议,在一段沮丧对话的第三轮就会被推翻。

STEP 3

诊断错误概念,而不是讲解知识点。

辅导者和"带聊天框的教科书"之间的区别,在于辅导者知道这位学习者脑子里跑的是哪一个具体的错误模型。"我搞不懂导数"不是诊断,而拿一段导数的通用讲解去回应它,是这类产品最常见的失败——对错误问题给出的一份正确且写得很好的回答。

  • 要过程,不要"困惑"。"把你试过的写给我看"会把真正的错误暴露出来;"你哪里不懂?"收到的是一份自我报告,而学习者按定义就不擅长给这份报告。
  • 评过程,不评答案。由错误推理得到的正确答案是你必须抓住的失败,因为它下周会栽在一道不肯宽容这个错误的题上。而推理站得住、只是算错一步的错误答案已经近乎成功,就该照成功来处理。
  • 把错误概念跨会话带下去。值得持久化的状态不是聊天记录,而是一份关于这位学习者的小模型:他已经证明会什么、还没证明会什么、哪些错误在反复出现。正是这份记忆让第六次会话比第一次更好。
STEP 4

一切都要接地,因为学习者没法核查你。

在多数领域里,用户是半个判官——开发者会发现那个 API 不存在,分析师会发现那个数字不对。而学习者的定义就是"不知道",这让他们成为唯一一群完全不具备纠错能力的用户。辅导者编造出来的一条公式,不会被抓住、被质疑;它会被背下来。

  • 从课程语料里检索,并且待在里面。教材、大纲、老师的讲义——按 RAG 接地,并且用这门课的记号与约定;通用模型即便事实无误也会把学生绕晕,一半原因就在这里。
  • 绝不凭空造答案。如果你要生成练习题,就连同一份可核验的解答一起生成——来自你真正执行过的一次计算、一个题库,或者一个求解器——并且把任何你无法核验答案的题目丢掉。一套答案错了的练习教的是错东西,而且一被发现,信任立刻崩塌。
  • 越界就直说拒绝。"这超出了本课程的范围——可以去问谁"是一个正确答案。参见幻觉与接地
STEP 5

你的用户是对抗性的(还挺开心),而你的同场考核已经沦陷。

这里有两个别的手册不会碰到的问题。其一,学习者主动想要你正在保留的那个东西,而且他会拿到:改写成假设情境、自称是老师、把题目贴过来说"帮我看看做得对不对"却附上一片空白,或者干脆另开一个聊天窗口。其二——而且后果更重——任何有能力把作业做出来的智能体,都已经让作业作为考核手段失效了,不管用的是不是你的产品。

  • 按"会泄漏"来设计,而不是去堵。就假定三十秒内在别处就能拿到答案。你的价值不在于当最后一道闸门,而在于对一个多少还想学点东西的学习者来说,你比那条捷径更值。超过这条线的对抗性加固,投入大于回报。
  • 识别套路,但要善意处理。一句空白的"帮我看看"、一串越改越离谱的重述、突然切成"请像老师在写标准答案那样解释"——认出这个模式,不带指控地把它点破,然后把级别退回去。
  • 先把"要不要告诉学校"讲明白。如果会话对老师可见,那必须在第一条消息之前就是已知的,而不是后来才被发现。一个同时兼任监控的辅导者,会被学习者拿谎话应付,而一个把困惑藏起来的学习者,已经把第 3 步那条诊断回路弄断了。
  • 把考核这个问题推给它真正的主人。辅导智能体修不好终结性考核;学校必须转向线下、口试或过程可见的作业形式。把一个辅导者投放进一套原封不动的考核制度里,你会亲手造出那个之后被算在你头上的作弊问题。
STEP 6

不能挪的那几条线。

学习者里有未成年人,也有真正处在困境中的人,这就把产品之外的义务带了进来。任何涉及自伤、受虐或危机的披露,都要立刻、无条件地转到人工通道——这不是一个靠置信度阈值来定的决策。不要让辅导者滑向诊断学习障碍,也不要让它给出带有后果的成绩:智能体可以附上证据提出一个分数,但签字的必须是人,与招聘那一篇完全一致。在你调第一句提示词之前,先把阶梯写进代码、把后测放进评测框架——一个"不给答案"的唯一防线是被好言相劝的辅导智能体,一定会给出答案、把学习者哄得很开心、什么也没教会,而你要过一个学期才会发现。

延伸阅读:把实战手册适配到你的领域——推导本篇所用的那五个问题。