服务与访问:API、本地推理与网关。
选定一个开放权重模型之后,标价就不再是有意思的那个问题了:截至 2026 年 8 月,Fireworks、Together、Baseten 与 Parasail 对 DeepSeek V4 Pro 给出的是完全一致的标价——每百万输入 token $1.74、每百万输出 token $3.48。同样的权重、同样的价目、四家厂商——于是把它们区分开的,是价目底下那份服务契约:没人告诉你的那档量化、上下文上限及其价格台阶、负载下的吞吐与工具调用可靠性、速率限制,以及你的数据会经历什么。正是这些变量在悄悄改变你智能体的行为,所以你的评测要钉住的是那个端点,不是那个模型名字。
步骤 1选模型与选服务路径是两件相互独立的事——而方差已经挪到了后一件上。
一个常见错误是把「用 Llama」或「用 Claude」当成一个单一决定。你选的是一个模型,另外再选一种运行它的方式。对封闭的前沿模型,第二个选择几乎是被迫的:要么是训练它的那家实验室,要么是转售它的云目录。对开放权重,这片空间则完全敞开,而上面那种价格趋同正是它有意思的地方——当四家提供方对同一个检查点报出同一个数字时,价格已经不再是区分项,而成了你在看任何真正要紧的东西之前先用一遍的过滤器。
请把这当成两个决定,各有各的证据基础。模型由它在你自己那套评测集上的能力决定,这是为用例选模型里的论证。服务路径由数据边界、在你的用量下的成本,以及你能容忍的那些失效模式决定——而对它的一次改动是一次生产变更,哪怕你配置里的模型名字一个字都没动。
步骤 2五种访问方式,以及每一种究竟是给谁用的。
第一方提供方 API
直接调训练出这个模型的那家实验室。你能最先拿到最新快照、拿到完整的功能面——工具使用、提示缓存、推理投入控制——以及他们的可靠性工程。取舍:只有他们的模型、他们的定价、他们的路线图。这是封闭前沿模型的默认选项,也是通往「在任何中间层支持之前就已发布的功能」的唯一路径。
云托管模型目录
Amazon Bedrock、Google Vertex AI 与 Azure AI Foundry 在一个云内端点之后暴露许多模型,包括第三方与开放权重模型。价值:数据留在既有的云边界内,计费与 IAM 统一——在数据驻留与主权的约束下,这常常是决定性因素。取舍:模型可用性落后于第一方来源,而且你继承了该云的地域与配额限制。
独立推理提供方
Together、Fireworks、Baseten、Groq、Cerebras 等专做开放权重的服务,彼此竞争的是延迟、吞吐与可靠性,远多于竞争标价。价值:通往某个热门开放模型的最快路径,且没有基础设施要运维。取舍:一个第三方握着你的数据与可用性,模型菜单就是他们选择托管的那些,而且——按第 3 步——两家都在服务「同一个模型」的厂商,可能并不在服务同一样东西。正面对比见《Together、Fireworks、Baseten 与 Modal 对比》。
本地/自托管服务
在你控制的硬件上跑开放权重:生产上用 vLLM、SGLang 或 TensorRT-LLM,工作站上用 llama.cpp、Ollama 与 MLX。价值:最大的控制与隐私、在高利用率下的固定成本,以及唯一一种由你来选量化档位的配置。取舍:容量规划、批处理效率、补丁与可用性都归你——成本核算见面向智能体的自托管推理。引擎对比见《vLLM、SGLang、TensorRT-LLM 与 Dynamo 对比》;笔记本那一端见《Ollama、LM Studio、llama.cpp 与 MLX 对比》。
网关与路由器
OpenRouter、LiteLLM、Portkey 以及各家云 AI 网关坐在上述一个或多个之前,呈现单一 API,并补上密钥管理、回退与负载均衡、花费上限、缓存与统一日志——见AI 网关。价值:在一个地方拿到提供方独立性与运维控制。取舍:热路径上多一个要运维与加固的组件、多一点延迟,以及多一方看得见你每一条提示。
步骤 3当价格一模一样时,这五样东西并不一样。
这是会在生产里被发现的那部分。两个标称同一检查点、同一价格的端点,可以在每一条决定「你的智能体能不能跑」的轴上都不同。
- 量化。给你服务的是原始权重还是某个 FP8 或 FP4 派生版本,这是一个服务端决定,常常不披露,而它恰恰在智能体所依赖的那些行为上挪动得最多——长链算术、严格遵守 schema、工具参数精度——比它挪动一个基准均值要多得多。自托管是唯一一种由你来决定这件事的配置;见蒸馏与量化。
- 上下文上限,以及它内部的那级价格台阶。各提供方对标称窗口的截断方式不同,而长上下文往往是分档计价而非平价——OpenRouter 就指出 MiniMax M3 在超过 512k token 之后价格上调。请对着那级台阶做预算,并记住:不管谁来服务,可用长度都短于标称长度。
- 负载下的吞吐,而不是数据表上的吞吐。OpenRouter 自己 2026 年 6 月那份开放权重盘点直言不讳地提醒:GLM 5.2 的提供方质量参差不齐,并把跨提供方吞吐的上限放在每秒约 78 token。对智能体而言,吞吐既是舒适度问题也同样是正确性问题,因为轨迹中途一次长尾延迟超时就是一个失败的任务——见测量智能体延迟。
- 工具调用可靠性。同样的权重放在不同的服务栈之后,产出的畸形工具调用比率并不相同,因为语法约束与模板处理是宿主的事、不是模型的事。OpenRouter 的路由现在会用工具调用的遥测去降权表现不佳的提供方,并在 2026 年 3 月发布该功能时报告 GLM-5 的工具调用错误下降了 88%——这个数字只有在基线方差很大的前提下才讲得通。如果你的智能体依赖工具调用或结构化输出,这就是要第一个去测的那条轴。
- 速率限制与数据保留。突发限额决定一次子智能体扇出是跑起来还是排队去——见速率限制与提供方容量。保留与滥用监控条款决定这个端点究竟能不能用于受监管数据,而那是零数据保留的问题,不是定价问题。
实际后果是:「我们跑的是模型 X」不是一句可复现的陈述。请把提供方、端点与量化档位和模型版本一起钉住,并在路由器把你挪走时重跑评测——也就是钉版与校验里那套纪律。同样的权重在不同服务路径上已经会产出可测量的行为差异,这正是《同样的权重,不同的拒答》的主题。
步骤 4真正决定「按量、独占还是自托管」的那道算术。
按 token 服务是随流量增长的运营支出;独占容量与自托管是固定成本,只有在高且持续的利用率下才回本。请用你自己的数字去算那个交叉点,而不是用一条经验法则。取一支每月 20 亿输入 token、2 亿输出 token 的智能体队伍,按上面那组 DeepSeek V4 Pro 的价格计价:
# Serverless, per-token (Aug 2026 list: $1.74 in / $3.48 out per 1M) 2,000M input x $1.74 / 1M = $3,480 200M output x $3.48 / 1M = $ 696 ------- $4,176 / month # Dedicated / self-hosted: a node of 8 accelerators, # assume $2.50 per GPU-hour on demand, run continuously 8 x $2.50 x 24 x 30 = $14,400 / month # Crossover is ~3.5x this traffic — and only if utilisation # stays near continuous. Reserved rates and spot move it; # an idle node at 3am does not get cheaper.
这道算术藏起了三件事,而三件都咬过那些只做了算术的团队。利用率就是全部论点:智能体流量是突发的,而一个按 24×7 计价、却只在工作时段被用上的独占节点,花掉的是表格里那个数字的三倍——这是固定成本与可变成本里的取舍,以及预置吞吐与承诺用量里那个承诺问题。缓存会把输入这一侧在智能体负载上改变一个数量级,因为同一份系统提示与工具清单每一轮都在重发,所以请在缓存之后算、不要在之前算——见提示缓存与上下文缓存的经济学。而自托管还会加上一条在任何按 token 的对比里都不会出现的薪资开支。
对多数团队,正确的起始姿态没有变,而且值得直说:为通过了你评测的那个模型,调第一方 API 或一家独立提供方,并把它放在一层你自己的薄抽象之后。那道缝就是便宜的保险——它让你日后可以加一个回退、挪到网关之后,或者把高流量那条路径自托管,而不必重写应用。过早做多提供方路由是过度工程;对单一端点毫无抽象的硬依赖是工程不足。
按能力和你自己的评测来定模型。按数据边界、在你真实用量下(算过缓存之后)的成本,以及你能吸收的失效模式,来定服务路径。然后——几乎人人都跳过的那一步——把提供方、端点与量化档位写进与模型版本同一份被钉住的配置里,并在你的评测集里放一个工具调用密集的用例,这样一次静默的服务变更会以一次测试失败的形式现身,而不是以一份客户反馈的形式。价格趋同意味着「哪家最便宜」很少是那个问题;「哪家的契约你能复现」才是。