Kimi K3 首登 DeepSWE v1.1:开源权重模型挤进前三

Kimi K3 首登 DeepSWE v1.1:开源权重模型挤进前三

2026 年 7 月 16 日,Moonshot AI 发布了 Kimi K3 模型。7 月 17 日,AI 编程智能体基准 DeepSWE 更新到 v1.1 版本,Kimi K3 第一次入榜就拿下了榜单第三名。

DeepSWE 是什么

DeepSWE 是 Datacurve 发布的软件工程基准,专门用来测试大模型作为自主编程智能体(agentic coding)的实际能力。它的几个特点:

  • 113 个长周期任务,覆盖 91 个真实代码仓库
  • 5 种语言:TypeScript、Go、Python、JavaScript、Rust
  • 任务全部从头编写,测试用手写——不存在训练数据污染问题
  • agent 在隔离环境里完成开发任务,最终提交的代码会被取出来放进全新容器里跑测试,跟现实开发场景接近

这个评测的难度高于大家更熟悉的 SWE-bench Pro:DeepSWE v1.1 的得分范围从 12% 到 73%,跨度 58 个百分点;SWE-bench Pro 大约只有 30 个百分点的分离度。

Kimi K3 的成绩

DeepSWE v1.1 官方排行榜(2026-07-17 更新),按 Pass@1 排名:

排名模型得分厂商单任务成本
1gpt-5.6-sol73%±3%OpenAI$8.39
2claude-fable-570%±4%Anthropic$21.63
3kimi-k369%±5%Moonshot$4.65
4gpt-5.6-terra70%±3%OpenAI$4.95
5gpt-5.6-luna67%±4%OpenAI$3.03
6gpt-5.567%±6%OpenAI$7.23
7claude-opus-4.859%±2%Anthropic$13.22
8claude-sonnet-554%±4%Anthropic$26.40
9grok-4.554%±2%xAI$2.42
10muse-spark-1.153%±3%Meta$2.36
11gpt-5.452%±2%OpenAI$5.65
12glm-5.244%±2%Z.ai$3.92
13gemini-3.5-flash37%±2%Google$7.34
14kimi-k2.7-code31%±1%Moonshot$2.82

kimi-k3 以 69% 排名整体第三,紧追 claude-fable-5(70%)和 gpt-5.6-sol(73%)。由于 DeepSWE 官方榜单按「每家厂商只取最高一个变体」展示,所以视觉上看 K3 是第 3,完整榜单里 OpenAI 有 gpt-5.6-terra、luna 等多个变体也排进前列,但都属于同一代 GPT-5.6。

K3 的成本是另一个看点。$4.65 一道题,只有 claude-fable-5 的五分之一,是 gpt-5.6-sol 的一半左右。在 67% 以上得分的第一梯队里,K3 是最便宜的。

Token 与步骤效率

DeepSWE 还公布了两项能反映模型工作方式的指标:输出 token 数量和 agent 步骤数。把完整数据列出来:

DeepSWE v1.1 完整榜单

模型得分成本输出 token步骤数
gpt-5.6-sol73%$8.3960k61
claude-fable-570%$21.63119k88
kimi-k369%$4.6581k98
claude-opus-4.859%$13.22135k120
claude-sonnet-554%$26.40214k268
grok-4.554%$2.4236k61
gemini-3.5-flash37%$7.34276k86

GPT-5.6 Sol 是典型的少步高效:61 步、60k token 拿到 73%,单步信息密度最高。Claude Fable 5 用了接近两倍的 token(119k)和更多步骤(88),换来 70% 的分数。

K3 走的是另一条路线:81k token(比 CF5 少三分之一),但步骤数偏多(98 步)。K3 倾向于把任务拆成更多轮次,每轮的输出更精简。代价是更多的工具调用开销,收益是单次决策的错误更容易被下一轮纠正。最终 $4.65 的单题成本只有 CF5 的五分之一,token 效率(得分/token)反而更高。

gemini-3.5-flash 烧了 276k token 只拿到 37%,token 效率垫底。claude-sonnet-5 更夸张,214k token 加 268 步只换回 54%,典型的暴力堆算力但走不对路。

开源权重的背景

K3 这次最大的标签是「开源权重模型达到前沿性能」。这里有几个时间节点需要厘清:

  • 7 月 16 日:Moonshot 发布 Kimi K3,开放 API 访问
  • 7 月 27 日:完整模型权重公开发布(多家媒体包括 VentureBeat、SiliconAngle、theaidude 已确认这个时间点)

也就是说,截至本文发布时,K3 的权重还未正式放出。Moonshot 自家 blog 也承认「整体性能仍落后于最强的闭源模型 Claude Fable 5 和 GPT-5.6 Sol」。第三方独立评测 DeepSWE 的结果印证了这个说法——K3 确实接近前沿但还差几个百分点。

K3 延续 K2 系列的 Modified MIT 许可证,2.8 万亿参数,100 万 token 上下文窗口。架构上引入了两个新设计:

  • Kimi Delta Attention:混合线性注意力机制
  • Attention Residuals:残差连接的直接替代品,Moonshot 称其在不同规模上都能带来稳定增益

这两项技术此前已在 GitHub 上作为公开研究发布。

K2 到 K3 的跃迁

榜单最后一行有个细节:kimi-k2.7-code 只有 31%,排名垫底。这是 K3 的前代编程专用模型。同一个公司在 DeepSWE 上从 31% 涨到 69%,38 个百分点的跨度,是整个榜单里最大的代际提升。

横向看,国产开源模型里 glm-5.2 是 44%,K3 直接拉开了 25 个百分点的距离。如果只看 DeepSWE 这一个基准,K3 是目前最强的开源权重编程模型。

这个成绩意味着什么

DeepSWE 跑的是真实代码仓库的修改任务,不是算法题或填充代码片段。它测试的是模型在一个完整 agent 框架下、面对陌生大型代码库时,能不能定位问题、写出可用的 patch、并让测试通过。得分接近 70% 意味着三道题里能独立解决两道。

过去开源模型和闭源模型在这个维度上的差距比较明显。DeepSeek、Llama、Kimi K2 系列在 SWE-bench 类基准上往往落后闭源 15-20 个百分点。K3 把这个差距压到了 4 个百分点以内(vs GPT-5.6-Sol)和 1 个百分点(vs Claude Fable 5)。

开源权重模型的真正价值在于可本地部署、可微调、可审计。K3 权重 7 月 27 日放出后,开发者能自行验证 benchmark 数据,也能基于它做定制化。但 2.8T 参数对推理硬件的要求极高,普通团队想自己跑起来不现实,实际落地还得依赖 Moonshot 的 API 或第三方托管。

7 月 27 日权重放出之后才是真正的验证窗口。在那之前,DeepSWE 这个第三方独立评测是目前最可信的成绩单。


参考来源:

DeepSWE v1.1 得分 vs 成本散点图

推荐阅读