Jev 和它的快速跟进者,卖的是一个没人量过的概率

Jev、OpenAI Decisions、Cloudflare Clef 和 Perplexity 的 pplx-decider 都保证答案合法——约束解码也能做到——于是它们真正新卖的只剩那个经过校准的概率。截至 2026 年 10 月,没有一家厂商公布过它们在本职任务上的校准数据;而你用自己的标注数据定下的阈值,同时决定了错误率和账单。

作者 智能体 AI 维基 31 分钟读完

Jev 的卖点有三个——它不可能返回格式错误的答案,它比 LLM 快四十到两百倍,以及它是经过校准的——而其中只有第三个是新东西:第一个是受约束解码早就给你的,第二个是拿它去和一个在干另一份活的模型比。校准才是产品本身,可上线五周之后,这个品类里没有任何一家厂商(TypeSafe 也不例外)在它所宣称的那类任务上公布过对校准的测量。买决策模型,买的是那个概率;而在让它替你做任何决定之前,先自己把这个概率测一遍。

一览

四个决策模型,截至 2026 年 10 月 19 日,都用来回答关于一段状态的类型化问题。四者都在调用时接受你写好的问题,返回一个标签以及覆盖所有标签的概率分布;它们都不写文本。

模型权重输入价格请求形态
Jev(TypeSafe AI)闭源每百万 token 0.042 美元,输出免费state + 带键名的 questions——noul、choice、score、box
OpenAI Decisions API闭源,仅 gpt-6-luna每百万 token 0.10 美元,输出免费input + 具名问题数组——predicate、choice、score
Clef / Clef-flash(Cloudflare)Apache-2.0发布时未公布「完全兼容 Jev API」
pplx-decider-v1-27b(Perplexity)Apache-2.0自行托管权重基于 Qwen3.8-27B 的类型化问题
Jev on Vercel's AI Gateway: reach against spend Three horizontal bars on a zero to forty percent scale. About 13 percent of Vercel's paid teams called Jev within 24 hours of launch and 35.3 percent within two weeks, but Jev accounted for only about 0.27 percent of gateway spend. Week-one to week-two retention was 55.6 percent. Jev on Vercel's AI Gateway, share of paid teams vs share of spend (%) 0 10 20 30 40 Paid teams that called Jev within 24 hours ~13 Paid teams that called Jev within two weeks 35.3 Share of gateway spend 0.27 Week-one to week-two retention: 55.6%. Sources: Vercel blog, 18 Sep 2026; Vercel AI Gateway Production Index, 15 Oct 2026.
人人都试过,几乎没人真在它身上花钱。三分之一的团队是试用率,不是市场份额。

Vercel 的数字最诚实地反映了这个品类眼下的处境。Jev 在 9 月 15 日发布后一天内就覆盖了网关约 13% 的付费团队,两周内达到 35.3%——TechCrunch 称它是该网关史上采用最快的模型——但它只占约 0.27% 的支出,首周用户留到第二周的比例是 55.6%。每百万输入 token 0.042 美元,试一下几乎不花钱,所以覆盖面衡量的是好奇心。好奇心能否变成生产流量,取决于本文要谈的那个问题:它返回的概率,能不能在背后没有人、也没有更大模型兜底的情况下,被信任去做决定。

「不会幻觉」到底买到了什么

What each approach hands back for the same routing question Three rows for the question "which team should handle this ticket". An LLM writing free text returns a sentence you must parse. An LLM under constrained decoding returns one valid label, technical, with no indication of how sure it is. A decision model returns the same valid label plus a probability for every label, illustrated as technical 0.86, billing 0.12 and sales 0.02, which is what lets you act above a threshold and escalate below it. What answers the question What comes back What your code can do with it LLM, free text a sentence to parse "Probably technical, though it could be billing…" Parse it, and hope it parses LLM + constrained decoding "technical" Branch on it, with no idea how sure it was Decision model (Jev and followers) technical .86 billing .12 sales .02 Act above a threshold, escalate below it Rows two and three are equally valid. Only row three tells you when not to trust the answer. Probabilities illustrative.
受约束解码和决策模型在合法性上不相上下,区别在最后一行的那个分布。

Jev 早期的宣传说它不会产生幻觉,而它发布时那条 Hacker News 帖子——将近 2,000 分——花了大半篇幅来拆这句话。准确的说法要窄得多:因为每一个可能的答案都由你在调用之前定义好,Jev 不可能返回这个集合之外的答案。TypeSafe 自己的发布文章也承认,它那个 0% 类型错误的数字「并非实测」;这是接口的性质。有位评论者的说法最值得记住:它不会输出非法类型,但它照样可以输出一个完全错误的合法值。

这个保证并不新。任何接上受约束解码或严格结构化输出 schema 的 LLM,也只会返回你允许的标签。LLM 交不出来的,是一个能用的「它有多确定」的度量。它的 token 对数概率已经被后训练扭曲了,而它口头说出的「我有 90% 把握」是另一段单独生成的断言——研究界对这两者哪个更糟并无定论,单凭这一点,就足以让你在核实之前两个都别信(参见不确定性与校准)。决策模型被训练成让分布本身就是输出。如果这个分布是校准过的——给出 0.9 的答案大约 90% 的时候是对的——你就能做一件 LLM 调用撑不起来的事:高于阈值时自动执行,低于阈值时升级处理。

速度数字比的是不同的活

TypeSafe 的首页宣称,在它的工作流评测上比 LLM 快 193.6 倍、便宜 444.6 倍;这些评测的参考答案来自前沿 LLM,工作流则是 TypeSafe 自己的团队搭的。OpenChamber 抓取了发布后四天的推文,保留 12,759 条相关推文,读出用户自己报告的结果:中位数提速 7 倍、成本降低 30 倍,中位延迟 76 毫秒。两个数字都是真的,只是说的是不同的事——前者是带思维链的 LLM 对一个不做推理的模型,后者更接近「把我原来那个分类器换掉」。做预算用后者,并且要预期你自己的数字主要取决于你要替换的那个 LLM 原本想了多久。

Jev——参照设计

Jev 是 TypeSafe 所称「System One」模型的第一个——靠直觉而非推理:没有推理 token,对请求里的所有问题做一次并行前向。TypeSafe 由前 OpenAI 研究员、做过 RLHF 的 Diogo Almeida 与 Erik Gafni、Sasha Sheng 共同创立。Almeida 说过,模型只用合成数据训练,方法被 TypeSafe 称为「面向校准决策的强化学习」(RLCD);架构除了「一种新的模型架构和一个并行采样器」之外未作披露。名字取自 William Stanley Jevons,也就是那个「资源越便宜、用得越多」的悖论的提出者。

一次请求就是向 /v1/systemone 发一个 POST,带上一个 state(字符串或 JSON)、一个具名问题的映射,以及可选的图像素材。问题有四种类型,最有用的读法是把它们看成控制流——这是 Hacker News 上一个自称 TypeSafe CEO 的账号给出的对应关系:

  • noul(取自 Bernoulli)——一个 if。返回某个条件成立的概率。
  • choice——一个 match,在你描述的最多 255 个选项之间选择。返回选中项以及每个选项的概率。
  • score——一个排序键,覆盖你描述的 2 到 10 个有序等级。返回期望等级以及每个等级的概率。
  • box——1.14.0 新增,实验性,仅限图像:一个边界框。
{
  "model": "jev-1.13.0",
  "state": "Our API integration started returning 500 errors on every request about 20 minutes ago.",
  "questions": {
    "department": {
      "type": "choice",
      "instructions": "Which team should handle this",
      "criteria": {
        "billing": "Payment or subscription issues",
        "technical": "Bugs or integration problems",
        "sales": "Pricing or account questions"
      }
    },
    "is_urgent": { "type": "noul", "instructions": "The message conveys urgency or time-sensitivity" }
  }
}

上下文默认是每次请求 64k token、每个问题 32k,或者通过一个「danger zone」请求头开到 262k——文档说那样更慢、也更不准。文档里有两处细节比这些头条参数更要紧。第一,choice 和 score 答案里的 confidence 字段是按固定公式从 probabilities 算出来的,所以它不携带任何分布里没有的信息;noul 答案则根本没有 confidence 字段。第二,TypeSafe 为 1.13 发布了一页坦率的「jaggedness」(能力参差)说明,列出九种失效模式——计数与算术、日期比较、双重否定及其他绕弯表述、塞满无关细节的大段状态、状态里的对抗性内容、互相矛盾的判据、偏向排在第一位的选项,以及任何需要生成文本的事。它自己的总结是「Jev 不是计算器」,对清单上大部分项给出的建议是:那部分交给代码去做。

别名会漂移:jev-latest 今天指向 1.13.0,预计在 1.14.0 于 10 月 14 日发布约一周后切到 1.14.0。TypeSafe 承诺在下线 1.13.0 前提前 60 天通知、1.14.0 提前 30 天,但还没有公布正式的弃用政策。在某个版本上调出来的阈值,只是那个版本的阈值。

OpenAI Decisions——快速跟进

Sam Altman 在 9 月 29 日的 DevDay 上提到了一个 Decisions API;它在 10 月 6 日进入公开测试。OpenAI 的 Nikunj Handa 告诉 Fortune,四周之前这东西还不在路线图上,并把功劳归给 Jev,说是它「启发了这整件事」。设计一眼就能认出是同一个想法,只是换成了 OpenAI 的一贯风格:POST /v1/decisions,带一个 input 和一个具名问题的数组,类型为 predicate(是/否)、choice 与 score,由 gpt-6-luna 作答——这也是唯一提供的模型。据 Fortune 报道,它是在 Luna 上直接搭出来的,没有额外训练;OpenAI 的文档对此只字未提。

它的价格是每百万输入 token 0.10 美元,输出不收费,约为 Jev 的 2.4 倍;它从第一天起就接受图像,而 Jev 的图像支持还藏在一个实验性请求头后面。它真正的差异点是采购会问的那些:对符合条件的客户提供零数据保留(ZDR)和 HIPAA,美国及 EEA/瑞士的数据驻留,以及你手里现成的那份合同。OpenAI 同样没有公布任何校准数字。它的指南让你用带标签的样本来设定阈值——建议是对的,同时也等于承认:这个数得你自己去找。

Clef 与 pplx-decider——Jev 的形态,开放的权重

Cloudflare 的 Clef 与 Clef-flash 于 10 月 1 日发布,以 Apache-2.0 权重上架 Hugging Face 和 Workers AI,自称「完全兼容 Jev API」:同样的 state,外加 noul、choice 与 score。Clef 是冻结的 Qwen3.8-27B 加一个秩为 256 的 LoRA 和一个视觉编码器;Clef-flash 基于 Qwen3.5-9B。Cloudflare 说它用 Brier 分数损失加一个同样被称为 RLCD 的 RL 目标来训练它们。Perplexity 的 pplx-decider-v1-27b 同样是 Apache-2.0,也是从 Qwen3.8-27B 微调而来。

由此可以推出两点。第一,Jev 的请求形态正在变成事实上的接口,这让你写的问题至少能在三家厂商之间迁移——而 OpenAI 选了另一种形态,不在其中。第二,开放权重的参与者让这个品类可以自托管,而这恰恰对决策模型最有吸引力的那类工作负载最要紧:对你不愿外发的数据做大批量筛查。两家都发布了基准表,在一些数据集上赢 Jev、在另一些上输(Cloudflare 报告 Clef 在 BANKING77 上的 macro-F1 为 94.2,Jev 为 79.7,而 Jev 在它的智能体轨迹工作流上胜出;Perplexity 报告总体 85.7%,Jev 为 84.5%)。两张表都没有报告校准。

没人公布的那个数字

TypeSafe 公开表示不会发布基准表,只会发布已退役评测的带日期快照。它发布文章里关于校准的说法就是一句「置信度越高,准确率越高」,没有附任何指标。竞争对手的表格衡量的是准确率和 F1。截至本周,去找一个在决策模型本职任务——取自真实流量的分类任务——上测出的期望校准误差(ECE),结果是一片空白。

最接近的一项是「超出标签用途」的。Pinocchio 论文(arXiv 2609.24881)用 Jev 来预测另一个模型的答案是否正确,在 1,718 条回答上测得 AUROC 0.666、Brier 0.240、ECE 0.133,而一个训练过的校准器的 AUROC 是 0.868。论文还发现 Jev 是非确定性的:对完全相同的重复请求会返回不同的分数。那不是 Jev 被宣传的用途,所以它并不说明 Jev 在工单路由上校准得很差。它说明的是:「校准」是一个模型在某个分布上的性质,而在你的分布上,还没有人公布过。

Page-change detection, AUPRC before prompt tuning Horizontal bars from Parallel's comparison of decision models on a production page-change task, before prompt tuning: Perplexity pplx-decider-v1 93.3, Jev 87.9, Liquid d1 80.8, OpenAI Decisions 79.0, Rune 26B 74.1, GLiNER2.5 23.5. AUPRC measures ranking quality, not calibration. Page-change detection, AUPRC (higher is better), before prompt tuning pplx-decider-v1 93.3 Jev 87.9 Liquid d1 80.8 OpenAI Decisions 79.0 Rune 26B 74.1 GLiNER2.5 23.5 Source: Parallel, "Are all System One models created equal?" (October 2026). One production task; ranking, not calibration.
迄今最中立的对比,是按排序质量给模型排名,而这并不是阈值所依赖的那个性质。

迄今最中立的对比来自 Parallel:它在自己的四个生产任务上跑了三个托管、五个开放的决策模型。在页面变更检测上,未做任何提示调优时,pplx-decider-v1 的 AUPRC 为 93.3,Jev 为 87.9,OpenAI Decisions 为 79.0;在重排序上,Parallel 自己微调的模型以 75.2 对 71.5 胜过 Jev,每 token 成本约为其四分之一。它的结论——Jev 是「一个强有力的默认选项」,而在成本、延迟和质量最要紧的地方,一个微调过的小分类器仍然可能胜出——是对的。不过要注意 AUPRC 是什么:它衡量的是模型能否把正例排在负例前面。一个模型可以排得完美无缺,却仍然对只有 60% 为真的东西报出 0.9。排序告诉你阈值存在;只有可靠性检验才告诉你它在哪里。

阈值决定你的账单

Your bill is set by the escalation rate Four horizontal bars showing a classification workload's cost as a share of running every item through the existing LLM, when a decision model screens everything and items below the threshold escalate to that LLM. At 5 percent escalated the bill is about 5 percent of the old one, at 20 percent about 20, at 40 percent about 40, and at 60 percent about 60, plus a thin slice for the decision-model call on all traffic. Cost as % of sending every item to the LLM you already use 100% = old bill 5% escalated ~5% 20% escalated ~20% 40% escalated ~40% 60% escalated ~60% decision-model call on 100% of items escalated items still sent to the LLM
决策模型自身的价格几乎可以忽略。你付多少钱,取决于你敢让它拍板多少流量。

这类模型在实践中的部署方式,是挡在某个更贵的东西前面做一道筛子。每一条都先过决策模型;高于阈值的答案直接执行;其余的升级给你原来用的 LLM,或者交给人。按 Jev 的价格,这道筛子几乎是免费的,所以账单大致就是你原先花费中被升级的那一部分。拍板 95% 的条目,你付大约 5% 的旧成本;拍板 60%,你付大约 40%。

这让阈值成了整个系统里最贵的那个数,而且它两头都会出错。照厂商的说法来设,一个校准不佳的模型会以你从未测过的速率把错误答案推进执行区间。因为缺乏证据而设得保守,你就会把大部分流量升级出去,也就留下了大部分旧账单。444 倍的头条数字和 7 倍的中位数,都取决于这一个选择,而你只能依据自己流量的带标签样本来做这个选择。决策模型的阈值这份操作手册会带你一步步做完。

注入照样有效,只是更隐蔽

决策模型把它的 state 当作数据来读,而 TypeSafe 的 jaggedness 页面明说了 Jev 默认不把它当作敌意内容。HiddenLayer 演示了一条注入的「Confirm Price」横幅如何经由 Jev 劫持浏览器智能体的结账决策——尽管系统提示词已说明页面文本不可信——还演示了字符扰动如何绕过一个毒性判断问题。9 月的一篇论文在 510 个 InjecAgent 用例上发现,效果通常是「偏移」而不是「翻转」——注入文本挪动了概率,却很少让 Jev 选中攻击者的目标;一次自适应攻击也只把新验证集上的成功率从 1.8% 提到 3.5%。翻转更少是好消息;但一个被挪动的概率越过了你的阈值,那仍然是一次翻转,而你在标签上看不出来。

什么时候选哪个

场景选择原因
大批量文本路由或筛查,数据可以外发Jev,并锁定版本单次调用最便宜,在 Parallel 的测试中延迟最低也最稳定,问题类型最丰富。
已经在用 OpenAI,需要 ZDR、HIPAA 或 EEA 驻留,或者现在就要图像OpenAI Decisions合规与合同才是差异点;Jev 价格的 2.4 倍依然微不足道。
数据不能离开你的网络,或者你想做微调Clef 或 pplx-deciderApache-2.0 权重、Jev 形态的问题,而且能用你自己的标签来训练。
单一且稳定的任务、数千条标签、延迟预算以毫秒计一个微调过的小分类器Parallel 自己的模型在重排序上以四分之一的成本胜过 Jev。决策模型是一个强有力的默认选项,不是天花板。
决策需要算术、日期或多步推理先代码,后模型这是每家厂商都写进文档的弱点。用代码算,只把判断交给模型。

无论选哪个,能的话都按 Jev 的形态来写问题——这四家里有三家接受它,而 TypeSafe 以 MIT 许可发布的 system-one-adapter-python 能把同样的类型化问题跑在 OpenAI、Anthropic 和 Gemini 的模型上,让你不花额外集成成本就能拿到你要替换的那个 LLM 的基线。

常见问题

Jev 是什么?

Jev 是 TypeSafe AI 于 2026 年 9 月 15 日发布的决策模型。它不生成文本,而是就一段输入回答类型化问题——是/否、单选、有序评分或边界框——并为每个可能的答案返回一个概率,价格为每百万输入 token 0.042 美元,输出免费。

Jev 会产生幻觉吗?

它不可能返回你所定义集合之外的答案,所以永远不会产出格式错误的输出。但它可以从这个集合里返回一个错误的答案,而且给出很高的概率。「不会幻觉」描述的是接口,不是准确率。

Jev 和 OpenAI 的 Decisions API 有什么不同?

想法相同,形态和条款不同。Jev 接受一个带键名的问题映射,每百万输入 token 0.042 美元;OpenAI 接受一个具名问题数组,只跑在 gpt-6-luna 上,价格 0.10 美元,默认接受图像,并向符合条件的客户提供 ZDR、HIPAA 和数据驻留。两者都没有公布校准测量。

Jev 是校准过的吗?

TypeSafe 说是,但没有公布任何校准指标。唯一实测的数字来自一次超出标签用途的测试——用来给其他模型的答案打分时 ECE 为 0.133——所以诚实的回答是:在信任任何阈值之前,你得在自己带标签的流量上把它测出来。

我能自托管决策模型吗?

Jev 不行,它只提供 API。Cloudflare 的 Clef 和 Perplexity 的 pplx-decider-v1-27b 是 Apache-2.0 开放权重,而且 Clef 接受 Jev 形态的请求,所以为 Jev 写的问题几乎不用改就能搬过去。

延伸阅读

本站相关:

资料来源: