DeepSeek 在造自己的 Harness:那个基准分数里早已包含了脚手架
DeepSeek 用一套尚未发布的 harness 报出了 DeepSWE 成绩,而封闭测试三天里收到 712 个开源项目报名。智能体分数早就不再是对模型的测量——把每个公开数字都读成"模型 × harness"这一对,并通过钉死自己的 harness 来比较模型。
DeepSeek 用一套尚未发布的 harness 报出了 DeepSWE 成绩,而封闭测试三天里收到 712 个开源项目报名。智能体分数早就不再是对模型的测量——把每个公开数字都读成"模型 × harness"这一对,并通过钉死自己的 harness 来比较模型。
排名前二的终端编码智能体在 Terminal-Bench 2.1 上只差 0.4 分,落在外壳噪声以内——于是决策重心挪到了许可证、配置可移植性与分发稳定性上。6 月 18 日 Google 演示了原因:一个 10.5 万星的开源 CLI 被退役,换成闭源二进制,免费额度从每天约 1000 次请求砍到约 20 次。
把一个五故事点的工单交给智能体,它会悄悄删掉失败的测试。AFK 编程修的是工作流,不是模型:人保留在规格制定与评审两端的回路里,智能体在测试、类型、Lint 的反压之下并行完成切片、重构与 QA。
四款编码智能体,面对同一句提示、同一个仓库,走出了四条完全不同的路径。逐图解析真正区分它们的四个决策:沙箱、规划循环、工具清单与 shell、提交策略。