为用例选模型:一份务实清单。
截至 2026 年 10 月,同一家厂商自己目录里的标价就横跨大约一百倍——小档约每百万输入 token $0.10,顶档约 $10;输出则是 $0.50 对 $50。这意味着:你挑的那个模型,会把账单挪动两个数量级,而在那些多数都很容易的任务上,质量只挪动几个点。整件决策就是这回事,而且它会过期:正确答案每一两个季度就会变,所以这份清单真正的产出并不是一个模型。它是一笔低到让下季度重做决定也不心疼的切换成本。
步骤 1从任务出发,绝不从模型出发——因为淘汰候选的是约束,从来不是质量。
最常见的失败是先挑模型(「我们用最好的那个」),再把用例往上套。把它倒过来。在说出任何模型名字之前,先写下来:输入输出是什么(模态)、核心任务到底有多难、用户能忍受多大延迟、在预期量下每请求的成本上限,以及数据被允许去到哪里。这些在质量进场之前,就淘汰掉了候选空间的大部分。
在 2026 年,这五项里有两项干的活比其余加起来都多,而且都容易被低估,因为它们都不是排行榜在量的东西:
- 成本是硬约束,不是偏好。单一厂商目录内部的价差在输入和输出上都约为 100 倍;跨厂商的价差更宽——2026 年 10 月有聚合追踪站把旗舰中位数放在每百万混合 token 约 $6,并称前沿价格较 2023 年水平下降了约 84%。在低用量下这些都不要紧。到了智能体级的用量——一个任务就是二十次模型调用,每次都在重放一段长前缀——档位这个决定就是产品决定。
- 数据边界是二值的。如果推理数据不得离开某个法域或某个 VPC,那么每一个托管前沿 API 都在一行之内出局,而你是在开放权重的检查点里做选择。再多质量也没法跟它讲道理。见数据驻留与开放 vs 闭源模型。
还有一道会绊倒「吃上下文」型设计的价格台阶。至少有一家主要供应商在 20 万 token 处列了一级跳价——Gemini 3.1 Pro 在该线之下约为每百万输入 $2 / 输出 $12,之上约为 $4 / $18,按 2026 年 10 月的标价。所以一个把 30 万 token 塞进窗口的设计要付两遍钱:token 更多,而且每个更贵。「检索出对的那 2 万」并不只是一个质量选择。
步骤 2清单,按顺序。
1–5 是硬约束——它们负责移除选项。第 6 步是公开基准唯一该出现的地方,而理由在当下的数字里就看得见,不需要讲理论。在 2026 年后期的开放权重编码排行榜上,一个追踪站把 MiniMax M3 以 59.0% 放在 SWE-bench Pro 榜首,另一个却在同一基准上列出 GLM-5.2 的 62.1%;而在 SWE-bench Verified 上,厂商自报的几个领先者彼此相差不到零点一个百分点。这些数字多数是在不同 harness 上自报的。它们是把五个候选收窄到三个的过滤器,而不是关于你那个任务的证据——这正是读懂基准完整展开的论证。
7–8 才是决定真正做出的地方,依据是你自己的数据。三条轴一起打分:一个赢了质量、输了成本的模型,并没有赢。打分时还要有足够样本,好把真实差距和噪声分开——五十个样本上差两个点不是结果,见评测方差与统计效力。
步骤 3默认用能干成事的最小那个,然后再升级——而这件事值多少钱,算给你看。
成熟的姿态与「先从前沿起步、以后再砍成本」正相反。从看起来能撑住的最便宜那一档起步,证明它过得了你的评测,只在它可测量地失败之处才往上走。多数真实负载由容易的请求主导;按罕见的难请求来选型,意味着在每一个容易的请求上都多付钱。
把一个具体案例算一遍。一个工单分诊智能体:每月 200 万次请求,每次约 3,000 个输入 token(工单加政策上下文)和 400 个输出 token。那就是每月 60 亿输入、8 亿输出 token。按 2026 年 10 月的标价:
- 小档(约 $0.10 / $0.50 每百万):$600 + $400 = 约每月 $1,000。
- 中档(约 $5 / $25):$30,000 + $20,000 = 约每月 $50,000。
- 顶档(约 $10 / $50):$60,000 + $40,000 = 约每月 $100,000。
现在把升级路径加进来。假设小模型在你的评测上通过了 85% 的工单,剩下 15% 路由到中档:0.85 × $1,000 + 0.15 × $50,000 ≈ 每月 $8,350,比在全部流量上跑中档便宜约六倍,而在难例上的质量按构造与中档持平。是这笔算术——不是某个基准差值——让路由成为整个技术栈里杠杆率最高的架构选择。
三项精修,按回报从高到低:
- 先做缓存,再谈降档。如果那 3,000 个输入 token 里有 2,500 个是一段稳定的政策前缀,提示缓存砍掉的输入支出比换一档还多,而且一点质量都不花。先做免费的那件事。
- 按步骤选型,而不是按系统选型。在一个智能体循环内部,各步骤难度不同:用便宜模型做路由和抽取,只在真正难的那一步用推理模型,用中档做综合。整个循环只用一个模型,等于在它的大部分上多付钱。
- 把高频率、窄范围的活整个挪下 API。嵌入、重排与分类正是小模型与本地模型不仅够用、而且具备竞争力的地方,而它们通常就是你调用次数最多的那几个组件。
升级路径必须便宜,才是真的。如果「升级」意味着另一套提示词、另一套输出 schema、另一个解析器,那就没有人会去搭它,而这份负载会安安静静地沉淀在贵模型上。让各档位在调用点上可互换——同一份契约,不同的模型字符串——升级就从一个项目变成了一行配置。
步骤 4为一个大约一个季度就会过期的决定做设计。
本页每一条具体建议都会腐坏;流程不会。价格会跌,开放/闭源的差距会来回摆,今天的前沿会变成明年的廉价档,而厂商会废弃你写死的那个模型字符串。所以该拿来做设计的问题不是「选哪个模型」,而是「四个月后改主意要花我多少」。决定这件事的有四样东西,而只有第一样是团队们操心的那个:
- API 是容易的那部分。任何网关或一层薄适配器,都能在一个下午里让调用点与模型无关。如果你的迁移成本主要花在这儿,那你碰到的是便宜的那个问题。
- 提示词是贵的那部分。提示词是对着某个模型的脾气调出来的,不会原样迁移——见提示词可移植性。请预留一次重调,而不是一次复制,并把提示词与为它背书的那份评测一起放进版本控制。
- 嵌入索引是不可逆的那部分。换掉一个嵌入模型会让你存下的每一个向量作废;代价是一次全量重建索引,不是一次配置变更。请有意识地让嵌入模型走在比生成模型更慢的时钟上。
- 没有评测集,你什么都没法安全地改。这才是真正的锁定。一个有五十条打过分的样例的团队,一小时就能重跑一遍、凭证据切换;一个没有的团队,无从分辨升级与回退,于是永远不动。评测集是这里其他每一项的前提。
模型废弃让这件事变得具体而非假设:模型字符串会按厂商的时间表下线,而一个无法针对替代者重跑评测的系统,就是一个在截止日期压力下、靠感觉迁移的系统。模型废弃与迁移讲了这套运维演练。