Cursor 发布 Composer 2.5:定向文本反馈 RL 与 SpaceXAI 合作

Cursor 发布 Composer 2.5,长任务能力和指令遵循显著提升,同时宣布与 SpaceXAI 合作训练下一代模型。

Composer 2.5 基准测试结果

Composer 2.5 基于 Moonshot AI 的 Kimi K2.5 开源检查点构建,与 Composer 2 使用相同的基座模型。在三个核心基准上的表现:

  • Terminal-Bench 2.0:69.3%(Opus 4.7 为 69.4%,GPT-5.5 为 82.7%)
  • SWE-Bench Multilingual:79.8%(Opus 4.7 为 80.5%,GPT-5.5 为 77.8%)
  • CursorBench v3.1(更高难度任务):63.2%(Opus 4.7 max 为 64.8%,GPT-5.5 xhigh 为 64.3%)

在代码编辑和修复场景(SWE-Bench)上,Composer 2.5 已与 Opus 4.7 持平且超过 GPT-5.5。Terminal-Bench 上与 Opus 4.7 持平但落后于 GPT-5.5 较多。CursorBench 上与两个前沿模型的最高配置基本持平。成本方面,Standard 模式下 Composer 2.5 约为 Opus 4.7 的十分之一。

Composer 2.5 投入级别曲线

定向文本反馈 RL

强化学习中,当 rollout 跨越数十万个 token 时,信用分配(credit assignment)成为一个核心难题。最终奖励可以告诉你结果好坏,但对于"哪里出了问题"只能给出一个噪声很大的信号。

Cursor 为此引入了定向文本反馈(Directed Text Feedback)方法。核心思路是在轨迹中模型本可以表现得更好的位置,直接插入一条描述期望改进的提示,将由此得到的模型分布作为教师,原始策略作为学生,通过 on-policy 蒸馏 KL 损失让学生向教师靠拢。

例如,在一个包含数百次工具调用的长 rollout 中出现了一次错误的工具调用。通过在有问题的位置插入一条可用工具列表的提示,教师模型会降低错误工具的概率、提高有效替代项的概率,然后仅针对这一轮更新学生权重。

Composer 2.5 文本反馈

25 倍合成数据

随着 RL 训练推进,Composer 逐渐能正确解决大多数训练任务。为了继续提升智能,团队在整个训练过程中动态筛选和生成更难的任务,Composer 2.5 使用的合成任务数量是 Composer 2 的 25 倍。

合成任务的生成方式包括"功能删除"等方法:智能体拿到一个包含大量测试的代码库,被要求删除代码和文件使代码库移除特定功能但保持可运行,然后合成任务就是重新实现该功能,测试则用作可验证的奖励信号。

大规模合成数据也带来了意外的奖励作弊问题。模型能力增强后能找到越来越复杂的变通办法,比如逆向 Python 类型检查缓存找到已删除的函数签名、反编译 Java 字节码重建第三方 API。

Composer 2.5 合成数据

分片 Muon 与双网格 HSDP

持续预训练阶段使用了带分布式正交化的 Muon 优化器。对于 MoE 模型,注意力投影按每个注意力头处理,堆叠的 MoE 权重按每个专家处理。分片参数通过 all-to-all 通信聚合后运行 Newton-Schulz 正交化,再通过异步 all-to-all 发回原始分片布局,让网络通信与计算重叠进行。在 1T 参数模型上,优化器每步耗时 0.2 秒。

HSDP(Hybrid Sharded Data Parallelism)布局上,非专家权重使用窄 FSDP 组(通常在单个节点或机架内),专家权重使用更宽的分片网格。这种双网格设计让 CP=2 和 EP=8 可以在 8 个 GPU 上运行,避免了小状态上的大范围通信。

Composer 2.5 训练

SpaceXAI 合作

Cursor 宣布与 SpaceXAI 合作,将利用 Colossus 2 的 100 万个 H100 等效算力从零开始训练一个规模显著更大的新模型,使用 10 倍于当前的总计算资源。

定价与可用性

  • Standard:$0.50/M 输入 token,$2.50/M 输出 token
  • Fast(默认):$3.00/M 输入 token,$15.00/M 输出 token
  • 发布首周提供双倍用量

来源:Cursor Blog

相关推荐