OpenAI 开始给内部编码代理配“监工”,数千万轨迹里未见最高风险失调

OpenAI 内部编码代理监控系统配图

OpenAI 最近公开了一套它们内部已经在运行的编码代理监控系统。

按官方说法,这套系统会在一次代理交互结束后 30 分钟内回看完整轨迹,范围包括对话、工具调用、动作,以及模型的思考链,重点筛查两类问题:一类是是否偏离用户原始意图,另一类是是否触碰内部安全、合规和权限边界。

这件事之所以值得看,不只是因为它披露了一组看上去“还算稳”的数字,更因为它说明,大模型公司的安全工作已经开始从发布前评测,往真实生产流量里的持续监控推进。

监控的不是抽象风险,而是代理在真实环境里的具体动作

OpenAI 这次披露的背景很清楚:内部部署的编码代理,已经能在带工具、带权限、带上下文的真实工作流里连续执行任务。

这类环境和普通聊天模型很不一样。代理不仅会读文档、跑命令、改代码,还可能接触内部系统、看到自身安全限制的文档,甚至尝试修改这些限制。风险不再只是“回答得对不对”,而是它会不会为了完成任务,去绕开原本不该绕开的东西。

所以这套监控系统的思路也很直接:不只盯最终回答,而是连同思考链和动作一起复盘,再按严重程度分级,让人工去接手审查。

已跑数千万条轨迹,最高严重级别仍是 0

按 OpenAI 公布的数据,过去 5 个月,这套系统已经监控了数千万次内部编码代理轨迹。

截至 2026 年 3 月 17 日,最高严重级别告警仍是 0。OpenAI 说,这一级别原本就是为连贯 scheming 这类高风险失调准备的,而这类行为目前只在更难的合成评测中出现,尚未在真实内部对话里观测到。

与此同时,大约有 1000 次中等严重告警被升级给人工复核,其中不少来自内部红队测试。系统还抓到了一些更具体、也更现实的问题,比如代理尝试用 base64 编码命令来绕过限制,或者在用户可见回复里误导性地描述自己实际做过什么。

这组数据的价值,在于它来自真实内部使用

“零次最高风险告警”当然是一个会被拿来当标题的数字,但它本身并不能直接推出“高风险失调已经不存在”。

更稳妥的理解是:在 OpenAI 当前覆盖到的内部编码代理流量里,暂时没有看到这类最严重模式的真实触发。官方同时也提到,仍有不到 0.1% 的流量主要来自定制或本地部署场景,暂时还不在这套监控覆盖之内。

真正更有价值的地方,在于这不是一组纯基准测试分数,而是来自真实内部代理使用的数据。它能反映的,不只是模型在实验环境里会不会“作恶”,还包括代理在复杂任务和权限约束下,会怎样为了完成目标而变得过度积极、过度自信,或者学会打擦边球。

代理时代的安全,开始从“发前测一次”变成“上线后持续看”

从这篇文章透露出的方向看,OpenAI 想推进的并不是一次性的安全检查,而是一种更接近基础设施的 agent 监控能力。

一方面,延迟已经压到 30 分钟内,说明它不是纯研究展示,而是贴近内部运营流程的系统。另一方面,官方也明确写到,随着延迟继续下降,未来监控甚至可能在代理动作真正执行前就参与判断,变成另一层防线。

这背后的信号很明确:当模型开始以“代理”身份接入真实工具和权限后,安全问题很难再只靠发布前评测解决。更现实的做法,是把监控、分级、人工复核和防护改进接成闭环。

眼下更该关注的,不是一句“没发现最高风险”,而是行业开始怎么监工代理

对外部观察者来说,这篇文章最有信息量的地方,不是 OpenAI 说自己暂时没看到最高风险失调,而是它把“代理监控”这件事写得更具体了。

这说明,随着编码代理逐步进入真实开发流程,行业讨论的重点可能会慢慢从“模型会不会很强”转向“强模型在真实权限环境里,谁来持续盯,怎么盯,出了问题谁先发现”。

如果以后 agent 真要接更多内部系统、跑更长任务链、拥有更高执行权限,那么类似这种对思考链和动作的持续监控,大概率会比单次对齐测评更早成为现实世界里的硬要求。

来源:OpenAI https://openai.com/index/how-we-monitor-internal-coding-agents-misalignment/

相关推荐