选模型:一份清单

E9
概念 · AI 模型与工具生态

为用例选模型:一份务实清单。

截至 2026 年 10 月,同一家厂商自己目录里的标价就横跨大约一百倍——小档约每百万输入 token $0.10,顶档约 $10;输出则是 $0.50 对 $50。这意味着:你挑的那个模型,会把账单挪动两个数量级,而在那些多数都很容易的任务上,质量只挪动几个点。整件决策就是这回事,而且它会过期:正确答案每一两个季度就会变,所以这份清单真正的产出并不是一个模型。它是一笔低到让下季度重做决定也不心疼的切换成本。

步骤 1从任务出发,绝不从模型出发——因为淘汰候选的是约束,从来不是质量。

最常见的失败是先挑模型(「我们用最好的那个」),再把用例往上套。把它倒过来。在说出任何模型名字之前,先写下来:输入输出是什么(模态)、核心任务到底有多难、用户能忍受多大延迟、在预期量下每请求的成本上限,以及数据被允许去到哪里。这些在质量进场之前,就淘汰掉了候选空间的大部分。

在 2026 年,这五项里有两项干的活比其余加起来都多,而且都容易被低估,因为它们都不是排行榜在量的东西:

  • 成本是硬约束,不是偏好。单一厂商目录内部的价差在输入和输出上都约为 100 倍;跨厂商的价差更宽——2026 年 10 月有聚合追踪站把旗舰中位数放在每百万混合 token 约 $6,并称前沿价格较 2023 年水平下降了约 84%。在低用量下这些都不要紧。到了智能体级的用量——一个任务就是二十次模型调用,每次都在重放一段长前缀——档位这个决定就是产品决定。
  • 数据边界是二值的。如果推理数据不得离开某个法域或某个 VPC,那么每一个托管前沿 API 都在一行之内出局,而你是在开放权重的检查点里做选择。再多质量也没法跟它讲道理。见数据驻留与开放 vs 闭源模型。

还有一道会绊倒「吃上下文」型设计的价格台阶。至少有一家主要供应商在 20 万 token 处列了一级跳价——Gemini 3.1 Pro 在该线之下约为每百万输入 $2 / 输出 $12,之上约为 $4 / $18,按 2026 年 10 月的标价。所以一个把 30 万 token 塞进窗口的设计要付两遍钱:token 更多,而且每个更贵。「检索出对的那 2 万」并不只是一个质量选择。

步骤 2清单,按顺序。

┌──────────────────────────────────────────────────────────────┐ │ 模型选择清单(自上而下执行) │ │ │ │ 1. 模态 需要哪些输入/输出? │ │ → 淘汰物理上做不到的模型。 │ │ 2. 数据 推理数据可以去哪里? │ │ → 可能强制开放权重/边界内托管。 │ │ 3. 难度 核心任务需要真正的推理吗? │ │ → 决定推理 vs 直答、档位下限。 │ │ 4. 延迟 交互还是批处理?首 token 预算? │ │ → 给模型规模/思考预算封顶。 │ │ 5. 成本 预期量下每请求的 $ 上限? │ │ → 给档位封顶;影响自托管 vs API。 │ │ 6. 短名单 仅用基准 来挑出通过 1–5 的 2–4 个候选。 │ │ 7. 评测 在短名单上跑你的评测集; │ │ 质量 + 成本 + 延迟一起打分。 │ │ 8. 决定 通过的最小/最便宜模型, │ │ 并为失败个案配便宜的升级路径。 │ └──────────────────────────────────────────────────────────────┘

1–5 是硬约束——它们负责移除选项。第 6 步是公开基准唯一该出现的地方,而理由在当下的数字里就看得见,不需要讲理论。在 2026 年后期的开放权重编码排行榜上,一个追踪站把 MiniMax M3 以 59.0% 放在 SWE-bench Pro 榜首,另一个却在同一基准上列出 GLM-5.2 的 62.1%;而在 SWE-bench Verified 上,厂商自报的几个领先者彼此相差不到零点一个百分点。这些数字多数是在不同 harness 上自报的。它们是把五个候选收窄到三个的过滤器,而不是关于你那个任务的证据——这正是读懂基准完整展开的论证。

7–8 才是决定真正做出的地方,依据是你自己的数据。三条轴一起打分:一个赢了质量、输了成本的模型,并没有赢。打分时还要有足够样本,好把真实差距和噪声分开——五十个样本上差两个点不是结果,见评测方差与统计效力。

步骤 3默认用能干成事的最小那个,然后再升级——而这件事值多少钱,算给你看。

成熟的姿态与「先从前沿起步、以后再砍成本」正相反。从看起来能撑住的最便宜那一档起步,证明它过得了你的评测,只在它可测量地失败之处才往上走。多数真实负载由容易的请求主导;按罕见的难请求来选型,意味着在每一个容易的请求上都多付钱。

把一个具体案例算一遍。一个工单分诊智能体:每月 200 万次请求,每次约 3,000 个输入 token(工单加政策上下文)和 400 个输出 token。那就是每月 60 亿输入、8 亿输出 token。按 2026 年 10 月的标价:

  • 小档(约 $0.10 / $0.50 每百万):$600 + $400 = 约每月 $1,000。
  • 中档(约 $5 / $25):$30,000 + $20,000 = 约每月 $50,000。
  • 顶档(约 $10 / $50):$60,000 + $40,000 = 约每月 $100,000。

现在把升级路径加进来。假设小模型在你的评测上通过了 85% 的工单,剩下 15% 路由到中档:0.85 × $1,000 + 0.15 × $50,000 ≈ 每月 $8,350,比在全部流量上跑中档便宜约六倍,而在难例上的质量按构造与中档持平。是这笔算术——不是某个基准差值——让路由成为整个技术栈里杠杆率最高的架构选择。

三项精修,按回报从高到低:

  • 先做缓存,再谈降档。如果那 3,000 个输入 token 里有 2,500 个是一段稳定的政策前缀,提示缓存砍掉的输入支出比换一档还多,而且一点质量都不花。先做免费的那件事。
  • 按步骤选型,而不是按系统选型。在一个智能体循环内部,各步骤难度不同:用便宜模型做路由和抽取,只在真正难的那一步用推理模型,用中档做综合。整个循环只用一个模型,等于在它的大部分上多付钱。
  • 把高频率、窄范围的活整个挪下 API。嵌入、重排与分类正是小模型与本地模型不仅够用、而且具备竞争力的地方,而它们通常就是你调用次数最多的那几个组件。

升级路径必须便宜,才是真的。如果「升级」意味着另一套提示词、另一套输出 schema、另一个解析器,那就没有人会去搭它,而这份负载会安安静静地沉淀在贵模型上。让各档位在调用点上可互换——同一份契约,不同的模型字符串——升级就从一个项目变成了一行配置。

步骤 4为一个大约一个季度就会过期的决定做设计。

本页每一条具体建议都会腐坏;流程不会。价格会跌,开放/闭源的差距会来回摆,今天的前沿会变成明年的廉价档,而厂商会废弃你写死的那个模型字符串。所以该拿来做设计的问题不是「选哪个模型」,而是「四个月后改主意要花我多少」。决定这件事的有四样东西,而只有第一样是团队们操心的那个:

  • API 是容易的那部分。任何网关或一层薄适配器,都能在一个下午里让调用点与模型无关。如果你的迁移成本主要花在这儿,那你碰到的是便宜的那个问题。
  • 提示词是贵的那部分。提示词是对着某个模型的脾气调出来的,不会原样迁移——见提示词可移植性。请预留一次重调,而不是一次复制,并把提示词与为它背书的那份评测一起放进版本控制。
  • 嵌入索引是不可逆的那部分。换掉一个嵌入模型会让你存下的每一个向量作废;代价是一次全量重建索引,不是一次配置变更。请有意识地让嵌入模型走在比生成模型更慢的时钟上。
  • 没有评测集,你什么都没法安全地改。这才是真正的锁定。一个有五十条打过分的样例的团队,一小时就能重跑一遍、凭证据切换;一个没有的团队,无从分辨升级与回退,于是永远不动。评测集是这里其他每一项的前提。

模型废弃让这件事变得具体而非假设:模型字符串会按厂商的时间表下线,而一个无法针对替代者重跑评测的系统,就是一个在截止日期压力下、靠感觉迁移的系统。模型废弃与迁移讲了这套运维演练。

如果你只把这份清单做一遍、别的都不做,那就做这个:诚实地跑完 1–5 步,挑那个活下来的最便宜候选而不是口碑最好的那个,然后把省下的时间拿去建那份五十条样例的评测集,而不是去比排行榜。那个便宜模型要么在你的评测上明显失败、要么没有——无论哪种,你一天里学到的都比读一周基准更多,而且你最终会拥有那件唯一能把未来每一次模型决策都变成一小时活儿的资产。然后设一个一个季度后的日历提醒,拿同一份评测去跑跑这期间出的新东西;那个每季一小时,就是这个决定的全部维护成本——而别人每次都在从零重新争论它。关于这些取舍背后的框架,见成本、质量与延迟;上线之后怎么把账单摁住,见智能体成本控制。