你的 LLM 评判者是拿人工标注来校准的,这就让那些标注成了一把量具——而截至 2026 年 11 月,这四个工具里没有一个会在「你可以免费自托管」的那一层上告诉你:你的两位审阅者给同一条目打出的分是否一致。队列是容易的那部分,四个都有。一致性才是决定这些数字究竟有没有意义的那部分,而它在其中一个里属于遗留版本、在另一个里要付费,在剩下两个里干脆就不存在。
一览
按 2026 年 11 月 18 日已发布的版本阅读。该据以选择的是第一列,因为它决定了这个工具究竟能不能把一次智能体运行表示出来。
| 工具 | 版本(2026-11-18) | 审阅单位 | 许可证 |
|---|---|---|---|
| Argilla | 2.8.0(2025-03-10) | 一条 record:字段 + 问题 | Apache-2.0 |
| Label Studio | 1.23.2(2026-09-29) | 一个 task;智能体轨迹需付费层 | Apache-2.0 |
| Langfuse | 4.82.0(2026-11-17) | trace、observation 或 session | MIT,ee/ 除外 |
| Opik | 2.2.146(2026-11-17) | trace 或 thread | Apache-2.0 |
请注意 Argilla 那一行里的日期。那不是笔误。
审阅单位把这个领域一刀切成两半
这四个常被拿来比较,仿佛它们是「对 LLM 输出做人工反馈」这同一件事的四种实现。它们不是。其中两个出自数据集标注的传统,被审阅的对象是一条 record——一束字段,连同挂在上面的问题一起摆给标注者看。另外两个出自链路追踪的传统,对象是一次运行——一条 trace,内嵌着 observation、工具调用、重试和最终输出。
对一次聊天补全来说,这个区别几乎不要紧。对一个智能体来说,它就是全部问题所在,因为审阅者最需要判断的并不是最终答案,而是那条路径:智能体调了哪个工具、返回了什么,以及这次运行是在哪里走偏的。一条 record 可以把对话记录当文本装进去,却装不进那个结构——这意味着审阅者没法只给第四步打分而把第三步放过。
Argilla 把这件事摆得很具体。它自己的文档列出了一个字段可以是什么——「plain text and markdown through the TextField, images through the ImageField, chat formatted data through the ChatField and full custom templates through our CustomField」——而产品里任何地方都没有 trace、observation 或 span 这个概念。ChatField 给你的是「角色—内容」的消息列表,这覆盖得了多轮对话,却覆盖不了一棵执行树。(Argilla 确实有一个 SpanQuestion,但那是用于命名实体任务的文本跨度标注,不是执行跨度。这个名字撞车把不少人误导过。)
Langfuse 坐在另一端:它的标注队列是「built for domain experts to add scores and comments to traces, observations or sessions」,因此审阅者可以把一个分数挂到某次运行里的某一个 span 上。Opik 很接近但不完全相同——它的队列装的是「traces or threads」,每条队列二者取一,而它的文档指出 trace 视图并不包含 span。所以在这四者之中,只有 Langfuse 的审阅单位一路下探到了单个步骤。
Argilla 处于维护模式,而且已经 18 个月了
这是最可能改变决定的一条事实,而它就写在该项目自己 README 的头几行:
The original authors have moved on to exciting new projects! The codebase is mature and stable, having served users reliably for years. While we won't be adding new features going forward, we're committed to solve bug fixes and publish patches as needed.
git 历史把时间点钉得很准。这条告示更严厉的一版落在 2025 年 5 月 16 日,并在 2025 年 7 月 8 日被软化成上面这段措辞。develop 上最后一次实质性的、非 README 的提交是 2025 年 3 月 10 日——与 2.8.0 发布到 PyPI 的日子同一天,而那也是至今最后一次发版。README 接着在招募维护者。
这些都不说明 Argilla 是个糟糕的工具。一个稳定、Apache-2.0、文档齐全、所言即所能的标注应用,完全是个值得部署的东西,而「mature and stable」是维护者自己诚实的说法。但它确实意味着你不该指望它长出一个 trace 形状的审阅界面,而那正是整个领域正在移动的方向。
它的一致性指标在上一个大版本里
Argilla 同时也是这四者中唯一真正交付过标注者间一致性的——而它在遗留 SDK 里,不在当前那个。v1 包里带着 agreement_metrics.py(「This module contains metrics to gather information related to inter-Annotator agreement」),实现方式是对 NLTK 的 AnnotationTask 做一层包装,支持 binary、interval 与 MASI 距离。而在 2.8.0 的 SDK 与当前文档里搜「agreement」、「kappa」或「Krippendorff」,一个结果都没有。
v2 给出的替代品是重叠控制,而那不是同一件事:rg.TaskDistribution(min_submitted=2) 配置的是「the number of minimum submitted responses expected for each record」。它保证有两个人看过。它并不告诉你这两个人说的是不是同一件事。
Label Studio 有最好的智能体审阅界面,在付费墙后面
Label Studio 1.23.2 在持续发版,社区版就是干净的 Apache-2.0——LICENSE 文件是未经改动的 Apache 文本、只填上了版权行,没有任何附加的使用限制。这里的闸门是按版本收的,不是按许可证收的,而它恰好落在本文讨论的那些功能上。
社区模板对 LLM 工作确实有用:「LLM Response Grading」、「Side-by-Side LLM Output Comparison」、「Multi-Turn Chat Evaluation」、「Evaluate RAG with Human Feedback」、「Human Preferences collection for RLHF」。然后是那个专为智能体做的,带着一把锁:
This template creates an agent run review Interface for evaluating multi-step agent traces — reasoning, tool calls, subagents, artifacts, and errors.
用它的审阅者会「rate individual steps as correct, partial, or incorrect, assign an overall verdict (good / mixed / bad), score the run against a configurable rubric, tag failure modes, and write a free-text critique」。这是这四个产品里对轨迹审阅最好的一段描述。而它的文档同时写着「Interfaces can only be used in Label Studio Enterprise and Starter Cloud」。
审阅流程本身要付费,一致性也要
还有两道闸门要紧。标注复核流程——对标注者的成果再过一轮——被记载为「only available in Label Studio Enterprise Edition」。而版本对照矩阵把一致性在三个层级上说得很明确:「Agreement metrics」在社区版是 ❌、在 Starter Cloud 是「Limited」、在企业版是 ✅;「Custom agreement metrics」与「Annotator consensus matrices」只给企业版。企业版还附带把一致性分数低的任务自动重新分配。
关于这笔钱买到了什么,有一条诚实的保留。Label Studio 内置的一致性指标是一批匹配函数——Exact Match、Common Labels Matches、Jaccard Similarity、Numeric Difference、IoU 以及边界框的若干变体——每一个都被标注为「Pairwise」或「Consensus」方法。Cohen's kappa 与 Krippendorff's alpha 都不在其列。这些是原始一致率,并不校正「纯靠碰巧也能达到的那部分一致」。对一份只有三个选项、而「good」又占压倒多数的评分量表来说,80% 的原始一致率可能一钱不值,而这恰恰是 kappa 存在的意义。
Langfuse:队列是免费的,而它算的那对一致性算错了对象
Langfuse 的许可值得搞准,因为人们会默认审阅就是要付费的那部分。这个仓库除了 ee/、web/src/ee/、worker/src/ee/ 与 packages/shared/src/server/ee/ 之下的内容,其余都是 MIT。而标注队列的实现不在上述任一路径里——它住在 web/src/features/annotation-queues/,API 定义在 fern/apis/server/ 之下。定价表与此一致:对 trace 做手工标注在每一层都有,而队列数在免费的 Hobby 层是「1 queue」、Core 是三条、Pro 不限,自托管开源版则是 true。(LICENSE 的版权持有方现在是 ClickHouse, Inc.,对任何在跟踪厂商风险的人来说,这本身就是一条新闻。)
所以 Langfuse 给了你最深的审阅单位,免费,可自托管。它没给你的是「标注者对标注者」的一致性。它的 Score Analytics 确实在算一致性——「Correlation metrics (Pearson, Spearman)」与「Agreement metrics (Cohen's Kappa, F1, Overall Agreement for categorical/boolean)」,还附有 kappa 的解读分档——但它比的是分数对分数。文档里那个示例叫「Human vs AI Annotation Agreement」:一个标注分数对一个评判分数。它是校准评判者的对的工具,却是验证人类的错的工具,因为两位审阅者对同一条目的标注,并不是两个不同名字的分数。该功能还被标为 Beta,且一次最多只能比两个分数。
这个区别很容易丢,而丢掉的代价很贵。评判者对人类的一致性,告诉你评判者跟得上人类。人类对人类的一致性,才告诉你人类究竟有没有跟着什么。
Opik:重叠强制执行,一致性无人度量
Opik 2.2.146 的发布日期,与本文所读那版 Langfuse 是同一天,而它通篇 Apache-2.0。它的标注队列是四者中最新的,人体工程学也不错:「An annotation queue gives them a list of traces or threads to label, in a view that shows each item the way they judge it.」条目可以从 Logs 页手工加入,也可以在反馈分数满足某个条件时自动加入——这是这一组里最接近「分诊规则」的东西。
关键在于它交付了本文论点所需的那个旋钮——「annotators per item」,被描述为「how many people must score an item before it is done」,并带有锁定槽位,让多位审阅者可以并发处理同一条目。文档甚至点明了用例:在对齐一个评判者时,建议设为 2 或更多以获取专家间的一致。然后它就停在那儿了。Opik 在任何地方都没有定义一致性指标,也没说该怎么算。它让你去收集那些重叠的标注;至于拿它们做什么,是你自己的事。
这与 Argilla 的 TaskDistribution 是同一个形状,而这也是整个类别的通例:这四个工具里有三个让你要求 N 个人审阅一个条目,而第四个只在付费层才告诉你这 N 个人是否一致。
为什么这才是那道承重的缺口
之所以要在意,是因为人工标注并不是真值。它是对真值的一次测量,而所用那把量具的精度,从来没人报告过。
为 LLM-as-judge 做辩护的那条经典理据,把这份依赖关系摆得很明白。MT-Bench 作者自己的仓库把结果写作:「Our results show that humans and GPT-4 judge achieve over 80% agreement, the same level of agreement between humans.」把这句话当作关于评判者的断言来读,它令人安心。把它当作关于分母的断言来读,它说出的东西更锋利:这个评判者被判为合格,是因为它与人类的吻合程度,大致等于人类彼此之间的吻合程度。而这条论证只有「测过人类对人类一致性」的人才用得上。如果你没测过自己的那份,你就不知道自己的评判者需要达到哪个水平,而「这个评判者和我的标注员有 85% 的时候一致」是无法解读的——它可能很优秀,也可能是两个人朝同一个方向在猜。
实际后果有三条,而且会叠加:
- 你的评测集继承了那份噪声。没做一致性检查就收集来的标注,会永久进入黄金集,而此后每一次模型对比都跑在它们之上。这就是评测集维护里那个维护问题,而它在这个集合被建起来之前就已经到场了。
- 你的评判者被校准到了某一个人的口味上。当每个条目只有一位标注者时,你无从区分「量表没说清」与「这位审阅者偏严」,而这正是评判者校准与元评测存在的目的。
- 你分不清是量表的问题还是审阅者的问题。低一致性是有诊断价值的:它通常意味着量表里有一个未被定义的情形,而不是你的审阅者不认真。没有那个数字,你会一直在重新培训人,而不是去把问题本身修好。
而这些都不需要你买任何东西。对一份分类量表算一致性,无非是几行 scikit-learn 或 NLTK,跑在你从这四个工具里都已经能导出的标注之上。缺口不在于难;而在于这个类别里没有一个工具会提示你去做,于是它就没被做。
什么情况选哪个
| 情形 | 选 | 理由 |
|---|---|---|
| 要审阅智能体运行、自托管、没预算 | Langfuse | 唯一一个免费层里审阅单位能触达 trace 内单个 observation 的。 |
| 要审阅智能体运行,并且要真正的复核流程、有预算 | Label Studio 企业版 | 按步骤的轨迹 Interface 与一致性指标是这一组里最好的——两者都要付费。 |
| 你想要能自动把条目排进队列的分诊规则 | Opik | 基于分数条件的自动入队,加上一个明确的「每条目标注人数」设置,Apache-2.0。 |
| 是在给微调攒一份带标注的数据集,而不是审阅运行 | Argilla | record 形状的审阅对这件事正合适,而项目是稳定的——接受它已经功能冻结这件事。 |
| 你需要站得住脚的一致性数字 | 随便哪一个,外加你自己的脚本 | 把重叠的标注导出来,自己算 kappa 或 Krippendorff's alpha。只有 Label Studio 企业版在产品内做这件事,而且它报的是原始一致率、不做碰巧校正。 |
常见问题
Argilla 被弃了吗?
不是被弃,而是功能冻结并在找维护者。README 说原作者们已经转向别处、不会再有新功能,同时承诺修 bug 与发补丁。最后一版是 2025 年 3 月 10 日的 2.8.0,而最后一次实质性提交就在同一天。
Langfuse 的标注队列是付费功能吗?
不是。其实现位于仓库里所有 ee/ 路径之外,因此由 MIT 内核覆盖;而定价表把队列列为自托管开源版与免费 Hobby 云层都可用,只是在后者上限为一条。
Label Studio 社区版能审阅智能体轨迹吗?
用那个专门做的界面不行。智能体运行审阅 Interface,以及 Multi-Turn Evaluation 与 Chatbot Evaluation 这两个模板,都被标为企业版或 Starter Cloud。社区用户拿到的是「Multi-Turn Chat Evaluation」与那组对话式 AI 模板,它们处理得了对话,但处理不了一棵工具调用树。标注复核流程同样只给企业版。
这些里面哪个算标注者间一致性?
只有 Label Studio,而且只在付费层——并且它内置的指标是原始匹配函数(Exact Match、Jaccard、IoU 之类),而不是做了碰巧校正的统计量;Cohen's kappa 与 Krippendorff's alpha 都不在它的内置清单里。Argilla 只在遗留的 v1 SDK 里有过基于 NLTK 的一致性指标。Langfuse 算的是两个分数之间的一致性,不是两个标注者之间的。Opik 强制审阅者重叠,但没有定义任何指标。
每个条目需要几位审阅者?
在一个样本上足够估出一致性就行,不必全量都上。Opik 与 Argilla 都允许你要求每条目至少两份提交;便宜的做法是「单人审阅保吞吐 + 留出一份双人审阅的样本专供一致性测量」,这样人工审阅的成本那场讨论才能诚实地进行。
延伸阅读
本站:
- 标注与打标运营——把审阅这个职能跑起来,而不只是挑它的工具。
- 评判者校准与元评测——那个一致性数字是用来干什么的。
- 轨迹与过程评测——为什么审阅单位必须触达单个步骤。
- 回溯式轨迹复盘——这些队列本就是为之服务的工作流。
- 智能体追踪中的 PII 脱敏——在一个人打开那条 trace 之前,你必须先做的事。
- 监督容量——给上面每一条队列封顶的那道人头上限。