同一个检查点，压到两比特

发布了什么

NVIDIA 于 2026 年 10 月 15 日向 Nemotron 3.5 家族新增了两个模型，第三个在本月稍后跟上。三者都采用 OpenMDW-1.1 许可，并发布在 Hugging Face 上。

架构继承自 Nemotron 3 Super，其公布的配置是一个把 Mamba-2、注意力与混合专家模块交错起来的混合骨干：88 层，模型维度 4,096，头维度 128，分组查询注意力用 32 个查询头对仅仅 2 个 key-value 头，以及 512 个路由专家、每 token 选中 22 个。请记住那两个 key-value 头——后面还会回来。

NVIDIA 自己对这个家族给出的吞吐说法是在智能体任务上比竞品快约五倍，而关于 Super VL 的媒体报道称它在专门任务的基准上胜过了几个被点名的前沿模型。两者都是厂商来源、在厂商选定任务上的数字，而本文要谈的既不是前者也不是后者。

承重的那个词是「压缩自」

派生品有一个已知的上限和一个未知的下限

人们塞进单张 GPU 的开放权重模型，大多是按出厂的那个规模训练出来的。一个 300 亿参数的模型就是一个 300 亿参数的模型：它的能力就是它自己训练出来的那些，你可以从它自己的评测去推断。Bolt 是另一类对象。它的能力上限就是 Super VL 的上限，因为压缩只拿走精度、不增加训练——凡 Super VL 做不到的，Bolt 也做不到。未知的是它落在那个上限以下多远，而这个落差是压缩的属性，不是架构或数据的属性。

对任何信任那个母模型的人来说，这个处境比听起来更好。你在一份消费级内存预算里拿到了一个近前沿的多模态模型的知识，而且可以把母模型的评测读作一个上界。它同时也比参数量所暗示的更糟，因为你最需要的那个量——落差有多大——恰好是这次发布没有量化的。

「原生 2 bit」与「2 bit」是两个不同的说法，而这个差别要紧

这个领域大致的共识是：低于每权重约 4 bit 之后，退化就不再细微了。而这个共识说的是事后量化：拿一个按 16 bit 训好的模型，把权重往下取整，接受那份损伤。「原生」2 bit 暗示的是另一回事——压缩是这份检查点被生产出来的方式的一部分，而不是事后施加到一个成品模型上的。量化感知训练确实能把地板抬起来，而这样造出来的 2 bit 模型，与把同一批权重事后取整到 2 bit 并不可比。

这正是一个自托管者需要被解决的区分，而「原生」这个词指向了它，却没有把它落定。在方法被记录到足以判断你身处哪一种情形之前，请把这个 2 bit 的说法当成一个关于质量的假设，由你自己的评测去检验——这与蒸馏与量化对任何压缩版本的建议姿态相同，只是这里的压缩比通常的默认更深，所以要用更大的力气。

为什么这对智能体比对聊天机器人更要紧

量化损伤通常是按质量通常被汇报的方式来汇报的——一个模型只回答一次的基准上的分数。对智能体来说，这是错的分母。一个二十步的循环要求每一步都成功，所以逐步可靠性会复利：每步 99% 在二十步后留下 81.8% 的任务成功，97% 留下 54.4%，95% 留下 35.9%。前两者之间两个点的下降，在完成的工作上是二十七个点的下降。

压缩并不会平等地损伤所有能力，而它倾向于损伤的恰是那些智能体形状的能力：对工具 schema 的严格遵循、长程目标保持、不去重复一个已经失败过的调用。这些正是单轮基准要么不测、要么只测一次的行为，而在那里两个点的差别看起来像噪声。于是那个在基准上与母模型只差一个点的模型，仍然可能是那个让智能体只完成一半任务的模型——而两份模型卡里都不会有任何东西告诉你。

以上这些都不是反对 2 bit 本地模型的论证。它是一个关于「你必须测什么」的论证，也是关于当部署是一个循环时，该读任务跨度而不是排行榜位次。我们那篇小模型与本地模型从另一个方向说了同一件事：长程工具使用正是本地模型崩掉的地方，而且差距不小。

那 24 GB 是权重

740 亿参数按两比特算，权重大约 18.5 GB，在一张 24 GB 的卡上这给其余一切留下不到 4 GB——而注意力缓存属于「其余一切」。直接读的话，256K 上下文与 24 GB 预算并不相容：按 700 亿参数稠密 transformer 的惯例几何，一份 256K 的缓存大约要 80 GB，超过整张卡的三倍。

有两个架构选择把这个缺口合上了。用 2 个 key-value 头而不是 32 个的分组查询注意力，比同样几何下的完整多头注意力把缓存砍掉十六分之一。而在一个混合骨干里，只有注意力层持有随长度增长的缓存——Mamba 模块持有的是一份固定大小的递归状态——所以随长度增长的那部分开销，只在 88 层中的少数层上支付。把剩下的预算除以 256K 个 token，得到的每 token 开销大约是 16 KB，而在两个 key-value 头、int8 精度下，这意味着大约 32 个注意力层。这是从公开预算反推出来的重建，而不是从某个配置文件里引用的；该留下的是方法，不是那个数字。我们那篇为智能体循环做 KV 缓存预算把这套算术正经地走了一遍。

这种几何的代价是真实的，而且它落在与量化代价相同的地方。一份固定大小的递归状态在构造上就是有损的，所以一个混合模型宣称的窗口与它可用的召回之间会发生背离，而原因是结构性的，不是基准造成的——见有效上下文与宣称上下文。一个 256K 在内存上很便宜的模型，必定在别处付了账，而这个「别处」就是它在第 40 步时还能用上那个窗口的多少。

采用之前该测什么

这次发布让一个特定的比较变得新近必要，因为现在有三类非常不同的模型占着同一个位置。74B 按 2 bit、约 34B 按 4 bit、约 12B 按 8 bit，权重都在 24 GB 上下，而它们的失败方式不同：第一种保住了广度、拿精度冒险；最后一种保住了精度、丢掉了广度。等参数量的比较已经分不开它们；等内存的比较可以。

• 先把内存预算固定，再比较。挑你真正拥有的那张卡，减去权重，再减去一份按你会强制执行的上下文上限算出来的缓存，然后只把留下同样余量的候选列入名单。一个只有在你把上下文压到 16K 才装得下的模型，与一个在 128K 下也装得下的模型，是两种不同的产品。
• 按步打分，不要按任务。在你自己的轨迹上，逐步埋点工具调用的合法性、schema 遵循度与重复失败率。一个数字——每步成功率——就能预测整个循环，而把它抬上去胜过这张清单上其他每一项优化。
• 按你真实的步数去跑评测。一套每个任务三步的五十题套件，关于第四十步什么也没告诉你。如果你的智能体跑得长，评测就得跑得长，这更花钱，而这是值得花的那份钱。
• 把量化版本与它自己的母模型比，不要与排行榜比。母模型是上限，也是测量压缩损伤唯一诚实的基线。如果你本地跑不动 Super VL，那就只为这次评测走一次托管端点。
• 把标称上下文当成预算，而不是能力。在你真会触及的长度上测召回，并设一个你会强制执行的上下文上限。压缩就是让一个本地智能体留在你量过的那份内存之内的东西。

更大的那个模式值得点出来，因为后面会有更多发布长成这个样子。厂商正在从公布能力转向公布预算——一个内存数字、一个上下文数字、一个延迟数字——而一份预算是关于「这个模型装在哪里」的说法，不是关于「它在里面能做什么」的说法。这是有用的信息，而它不是测量的替代品。当一次发布以一个你能用除法核对的数字打头时，就去做那道除法；而当它以一个只有你自己的轨迹能定下的数字打头时，就去把轨迹拿到手。

延伸阅读

本站相关：

• 为智能体循环做 KV 缓存预算——那张 24 GB 图背后的算术，以及它推出的容量除法。
• 小模型与本地模型——哪些工作从来就不需要大模型，以及本地模型仍然输得很惨的地方。
• 蒸馏与量化——压缩拿掉了什么，以及如何测量它拿掉了什么。
• 混合专家——为什么 74B 里只激活 9B 买到的是算力而不是内存。
• 端侧智能体架构——本地栈的其余部分，包括重启后的缓存预热。
• 任务跨度——为什么逐步可靠性才是预测一个循环的那个数字。
• 面向智能体的自托管推理——你随这套硬件一起接下的运维承诺。

资料来源：

• Nemotron 3.5 Bolt 74B-A9B-24GB 模型卡
• Nemotron 3.5 Super VL 120B-A12B BF16 模型卡
• NVIDIA：开源模型与智能体