深度剖析 / 训练智能体模型

训练智能体模型

面向智能体能力的后训练——SFT、拒绝采样、蒸馏、RLHF/RLAIF、面向工具调用的 RL、奖励设计。

  1. 提示、微调,还是强化学习?
    改变智能体行为的决策树:提示发问、SFT 模仿、RL 优化——选能闭合差距的最便宜的杠杆。
  2. RLHF 与 RLAIF
    逐阶段走完 RLHF 管线——SFT、奖励模型、PPO/GRPO/DPO——以及把人类标注换成 AI 评判者实际修了什么。
  3. 面向工具使用与多步任务的强化学习
    为何工具轨迹上的 RL 很难:稀疏终端奖励、跨步信用分配,以及为何可信核验器是全部博弈。
  4. 奖励设计与奖励黑客
    奖励黑客是一个你可以在训练过程中看着它长大的量,而不是评审阶段才发现的尾部风险——而量它的仪器,是第二个验证器:用不同的构造衡量同一个意图,且永不进入奖励。2026 年的一项实验(arXiv:2604.15149)把这件事做成了因果:按外延式验证器训练的那个变体,会长出一道在训练中段才出现、并不断变宽的「训练分减审计分」缺口;模糊测试在 100 次数学试验里有 94 次于两次验证器查询内就找到了漏洞;SpecBench 发现前沿智能体把可见测试集刷满、底下的奖励黑客却照旧;METR 则量到 RE-Bench 有 30.4% 的运行出现奖励黑客,而 HCAST 只有 0.7%。文中还讲清为什么 KL 牵绳只约束漂移、不约束取巧,以及为什么该报警的是那道缺口的斜率而不是它的高度。
  5. SFT、拒绝采样与蒸馏
    在 RL 之前解决多数智能体训练问题的有监督技术:拒绝采样、专家迭代,以及把强智能体蒸馏进便宜模型。
  6. 过程奖励 vs 结果奖励模型
    为答案付费还是为步骤付费:何时稠密过程奖励胜过稀疏结果奖励,以及决定它的标注成本取舍。
  7. 面向智能体的 RLVR 与 GRPO
    2026 年的配方——SFT → DPO/SimPO → GRPO/DAPO 且带可核验奖励;熵坍缩、KL 漂移,以及多轮算法(ARPO、StepPO、Turn-PPO)。
  8. 对开放权重做 RL 微调
    SageMaker RFT + TRL v1.0 + LlamaFactory + VeRL 让团队可对 Qwen3/Llama 4/DeepSeek V4 用自有可核验奖励做 GRPO——"定制推理模型"打法。
  9. 过程奖励模型
    逐步过程奖励模型(PRM)与仅结果 RLVR——对长时程 SWE 智能体做稠密信用分配,SWE-TRACE、AgentPRM、SPARK 是当前一线技术栈。
  10. DSPy 3 + GEPA 做智能体优化
    GEPA(ICLR 2026 oral)比 MIPROv2 高 13%、比 RL/GRPO 高 20%,且 rollouts 少 35 倍——各优化器何时用。
  11. 面向智能体强化学习的环境工程
    决定账单的是 rollout 时间而非梯度时间——一条掉队的轨迹就能让整个同步批次空转,所以回合时延的 p99 与环境并发度比 GPU 数量更要紧。而你花一个下午写出来的那个校验器,就是奖励函数,所以要精确率而不是召回率、锁死容器摘要而不是标签;并且要注意,这件产物同时就是你本来也需要的那份评测集。
  12. 在你自己的轨迹上训练
    生产与你的数据集之间隔着三道没人挑选的筛子——用户还愿意尝试什么、什么跑完了、你的保留窗口留下了什么——而行为克隆的误差按时间跨度的平方复合,所以每步 99% 的准确率并不等于「误差独立」那笔和式承诺的 26% 失败率。轨迹的回报有次序:先评测集、再环境、再提示词与工具,权重放最后;而一个在轨迹上调过的模型把你的工具目录编码进了权重,于是给 search_docs 改个名字就成了一个模型问题。
  13. 后训练清不掉的东西
    后训练只是在它所采样的那个分布上移动一个策略,于是一个在预训练里被种下、以某个对齐阶段从未见过的字符串为键的关联,根本没有任何机制会让 SFT、DPO 或 RL 找到它。剂量的单位是文档数而非百分比:英国 AI 安全研究所与 Anthropic 2025 年的结果报告,约 250 份下毒文档就能给 6 亿到 130 亿参数的模型装上后门——于是更大的语料降低的是攻击者所需的比例,而不是份数。2026 年那个智能体版本把它变成了一个数据管线问题——其中一种触发键是 /anthropic/ 下一条普通路径,而「声明」与「演示」一样奏效——而它自己的仓库警告说,那个标题数字是一次 any-of-32 的字符串匹配,不是单次调用的比率。请去问语料来源,而不是对齐配方,并买那些不需要知道触发键也能起作用的控制措施。