Together、Fireworks、Baseten 与 Modal：智能体压垮了按 token 计价
聊天产品要有好几百个并发用户，专用 GPU 才划得过按 token 计价；智能体只需要十来个工作单元，因为它每一步都要把整个上下文重发一遍。真正该决定你在这四家里选谁的，是这道算术题，而不是每百万 token 的单价。
AI 博客
标签: self-hosted
Muse Glimmer 交出了两个"智能体"分数，而上标题的是错的那个
Meta 的 300 亿参数开放权重智能体模型，在 SWE-Bench Verified 上是 76.0，在 τ³-Banking 上只有 24%。它六个头条数字里有五个测的是"模型独自面对一个可被程序核验的目标"；第六个测的是"陪着一个人、照着一份成文规程办事"——而常驻本地助手活的正是后面这条轴。
vLLM、SGLang、TensorRT-LLM 与 llama.cpp：吞吐量是评判智能体服务的错误基准
这四者的每一份对比，开头都是固定 batch 下的每秒 token 数——而这恰恰是最难迁移到智能体流量上的那个数字：在那里，同一段提示词会带着几百个新 token 回来二十次。真正把它们区分开的，是 KV 缓存以什么为键、受约束解码在满 batch 下还能不能撑住，以及那道构建步骤要吃掉你一个季度里的多少。
Docling、Unstructured、LlamaParse 与 Mistral OCR：别再按准确率挑解析器
每一份文档解析器对比都以准确率排行榜的形式发布，而准确率恰恰是最难迁移到你自己文档上的那个维度。真正能迁移的有两件事：版面流水线会漏掉一个数字，但结构上编不出一个数字；以及自建与托管两条成本曲线，会在一个你五分钟就能算出来的量级上相交。
Kimi K3 开放权重，但这不等于便宜、本地或不受限
Moonshot 在 7 月 27 日把 2.8 万亿参数做成了免费下载——同时把自家 API 定价定得高于它所取代的上一代模型，而市面上没有任何一块 GPU 装得下这份权重。开放权重为智能体开发者换来的恰恰只有一样闭源 API 给不了的东西，而那样东西不是成本。
LanceDB、Chroma、sqlite-vec 与 FAISS：本地智能体知识库的四种形状
在挑本地向量存储之前，先注意一件事：Claude Code、Cursor 与 Codex 都把自己的删掉了——领先的编程智能体用 grep 检索，而不是嵌入。如果你的语料仍然需要索引，那么这四者并非互相竞争的产品，而是四种不同的架构：一个不带存储的搜索库、一个 SQLite 扩展、一个带预写日志的嵌入式引擎，以及一种落在磁盘上的列式格式。
Llama 4、DeepSeek V3、Qwen3 与 Mistral Large 3：四款开源权重旗舰，四种不同的下注方式
每隔几个月，四家实验室就会发布一款听上去差不多的开源权重旗舰——MoE、长上下文、推理模式、多模态，基准成绩也在彼此之间反复易手。可真正决定你在生产环境中跑哪一款的，是各家下一步押注的那条轴：多模态生态、推理经济性、智能体推理，还是宽松许可下的前沿能力。