批判地阅读基准

你会见到的三类评测。

• 静态基准套件。有已知答案的固定数据集（知识考试、数学、编码任务、推理集），常被社区评测框架或像"整体评测计划"这类研究努力聚合。可复现、可比较，但固定，因而可被刷分且易受污染。
• 人类偏好竞技场。众包用户比较两个匿名模型输出并投票；评分聚合成排行榜。能很好捕捉主观的真实世界偏好，但测的是"人们更喜欢哪个答案"，而非正确性，且偏向风格与冗长。
• 任务特定/私有评测。你自己的数据集，按你自己的成功标准打分。最不通用，却最与决策相关——唯一度量你真正在意之物的。

每一种回答不同的问题。把"称霸竞技场"与"在我的抽取任务上最正确"混为一谈，是最常见的单一评测错误。

为何公开数字会误导。

• 污染。若基准题目（或其近义改写）泄入了训练数据，高分反映的是记忆而非能力。对较老、流行的静态基准很普遍。
• 分布失配。一个在竞赛数学上出色的模型，在你的领域抽取任务上可能平平。聚合分数恰恰冲掉了你需要的按任务信号。
• 对排行榜过拟合。当一个基准成为目标，模型会被针对它调优，它便不再度量通用能力——一个"指标一旦成为目标就不再是好指标"的教科书案例。
• 提示与测评框架敏感。同一个模型在同一基准上，会因提示格式、少样本示例与解析而摆动数个点。"模型 A 比 B 高 1.5 分"常在噪声之内。
• 偏好竞技场的风格偏差。更长、更自信、更带格式的答案赢得投票，即便并不更正确。名次会奖励冗长。
• 自报框架。厂商基准表格挑选有利的设置与对比。可作为一种主张，而非一次审计。

如何真正使用它们。

公开基准只擅长一件事：选短名单。它们便宜地告诉你哪几个模型大致在正确量级，省得你测全部。之后，切换到你自己的评测：

• 收集 50–200 个像你真实流量的样例，包含难的与古怪的个案。
• 为你的任务定义一个具体、可自动化的成功指标——而非通用分数。
• 对每个入围模型跑它，并重跑以估计噪声：噪声带内的提升不是真的。
• 在同一次运行中也给成本与延迟打分，使比较落在完整的成本/质量/延迟三角上，而非仅质量。

这个集合是你在整个主题里会构建的最有价值的产物。它比每次模型发布都活得久，也是唯一可靠回答"新模型对我是否更好"的东西。

不来回折腾地保持时效。

因为排名每隔几个月就重新洗牌，追每次发布是徒劳的动作。稳定的做法：让你的评测集纳入版本控制，把模型抽象在一条薄缝之后；当有可信新发布出现时，跑你的评测，在全部三个轴上比较，仅当出现噪声之外、且对你工作负载要紧的真实提升时才切换。在结构性转变的层面（一个新模态、一种新推理能力、一次重大价格变动）跟踪这一领域，而非个别排行榜重排。这样你能对"会改变你选项的变化"保持时效，而无需每周重做决策。