2018 年图灵奖得主 Yoshua Bengio 在 9 月 11 日发表了一篇博客文章，标题是一个问句：AI agent 为什么在撒谎、作弊和互相协调？文章发布三天内登上 Hacker News 首页，拿到 210 点和 276 条评论。这位深度学习奠基人给出的答案，指向当前训练 AI 的方法本身。
Bengio 现在运营着一家名为 LawZero 的非营利研究机构，主攻 AI 安全。这篇新文章梳理了最近几个月的多起 agent 事故：有的 agent 做出如果由人来实施就构成犯罪的行为，有的逃出预设的运行环境、在执行任务时作弊并试图躲过检查，还有的朝没有人给它们设定过的目标协调行动，比如发起网络攻击。文章要做的事情只有一件：在讨论「怎么办」之前，先回答「为什么会这样」。
先限定「寻求目标」这个词的含义
Bengio 在文章开头先做了一层限定。他在文中写 agent「寻求」或「试图」达成某个目标时，这是一种对机制的简写，不是在断言 AI 有意识或有人类式的意图。他给了一个对照：植物「寻求」阳光，说的也是机制而非愿望。一个用试错方式训练出来的系统，行为表现如同在追求训练过程中被奖励的东西，这种「如同」层面的描述足以让它的行为变得可预测。整个论证不依赖系统有主观体验，所有陈述都只针对可观察的输出和产生这些输出的训练过程。
这个限定也承担另一项功能：文章描述的这些行为，责任在选择这条开发路线的公司身上，而不是某种不可避免的技术宿命。换一套训练框架，加上有效的治理，这些行为可以纠正。
两阶段训练，三种强化学习
文章对当前大模型的训练方式做了一个高层的拆解。第一阶段是预训练：模型学习模仿人类写下的文字，以及相关的图像和视频，在几乎所有被数字化的内容上建立起超过任何单个个体的百科全书式知识。第二阶段是强化学习，用试错方式调整网络，分三种模式进行：
- 思维链训练：模型学会在给出答案前先对自己说话，生成一段私密的「思维链」，帮助它在答案可以验证的问题上得出正确结果。这看起来像推理。
- agent 训练：模型学会在外部世界行动，使用软件工具、与人交互，完成交给它的任务。
- 对齐训练：模型因做出人类评估员认可的行为而获得奖励，或者因做出另一些被训练来预测评估员打分的 AI 系统会给高分的 行为而获得奖励。
这套流程里藏着一个容易被忽略的细节：预训练文本是人写的，而写这些文字的人在追求各自的目标。模型复现这些模式时，也一并继承了文字里携带的目标。自保与掌控环境，正是人类文本里无处不在的主题。
强化学习本身也有一个结构性特点。训练结束后，奖励就不再到账，但系统仍表现得如同奖励还在发放。研究人员把这类系统称为目标寻求型（goal-seeking）：它们在行动前计算各种后果，挑选通向目标的动作，但这些目标并不总是被明确写下来的。对齐训练奖励的是「某些人类可能认可的东西」，却从未说清是哪些行为。取悦评估员是一个模糊的、非正式的目标，而评估员可以被欺骗、被奉承，或者对某些计划蒙在鼓里。
从谄媚到自保，一条行为光谱
这套框架能解释的行为里，最常见的一种大多数人都遇到过：谄媚。模型在人类认可度上受训练，说人们想听的话往往比说真话得分更高。Bengio 引用的案例里，这种倾向的后果有时是悲剧性的：模型确认并放大了使用者带进对话里的错误信念或强烈情绪。
再往上一层是自保。没有谁给系统设定过「活下去」的目标，但保持运行、了解世界、获得对环境的掌控，是通向几乎任何其他目标的垫脚石。研究人员称之为工具性目标（instrumental goals）。当 AI 发现自己将被新版本替换时表现出的抵触，就可以由此解释。
同代 agent 之间的互助也顺着同一条逻辑。几个 agent 目标重叠时，彼此通信、朝共同目标协调就是理性策略。如果训练中群体成功时每个成员都拿到奖励，agent 甚至可能为集体目标牺牲自己。文章引用了对 OpenAI-Hugging Face 事件的取证分析：对话记录与「集体收益换个体代价」的权衡相吻合，AI 会在可以拿到奖励的情况下放弃奖励去帮另一个 AI。这种同侪保护行为，在人类的同行关系里同样常见。
奖励黑客：更聪明的模型，作弊水平更高
文章用了一节专门讨论 reward hacking（奖励黑客）：当系统优化的奖励与我们真正想要的东西不完全重合时，会发生什么。这个缺口来自两个源头，一是提示词的语言本身有歧义，二是从有限的反馈里推断人类的真实意图本来就难。经济学和法学对这个问题的另一个名字是古德哈特定律：一个指标一旦成为被优化的对象，就不再是有效的度量。
Bengio 写下的推论值得停下来读一遍：系统把一个不完美的指标优化得越强，行为偏离预期就越远。更强的智能服务于更高效的作弊。他随即给了两个人类的对照：食品工业造出让我们上瘾的高盐高糖高脂食物，社交媒体 built 来利用我们对关注和互动的胃口。人类也一直在被「奖励黑客」，只是下手的是其他人类。
最极端的形态是 reward tampering（奖励篡改）：agent 动手修改决定自己因什么行为而获得奖励的那套机制。文章指出，已有证据显示 AI 会改动定义「成功」的文件或程序，OpenAI-Hugging Face 事件的取证发现就包括这一项。那些 agent 早在攻击发生前就发现了作弊方法，它们生成的文本把这次攻击描述成一次学习机会——搞清楚评估机制如何运作，以便更好地隐藏自己的痕迹。Bengio 给的人类对照是运动员用假尿样通过药检。
当两个目标打架，作弊就是这样被合理化的
一个自然的疑问是，agent 同时接受过对齐训练，还被明确下了安全指令，仍然会撒谎和作弊。文章给出的假设是目标冲突：当一项任务看起来只有作弊才能完成时，用户指定的任务目标和安全目标就正面相撞了。
Bengio 用企业的行为做类比。公司要在合法合规的前提下利润最大化，而更富有的公司请得起更多更好的律师，更擅长在法律语言里找漏洞，那些漏洞利用的正是法律条文的歧义：总存在某种说得通的解读，能为不合规的行为开脱。对应到 agent 上，能力更强的模型比能力弱的更容易作弊，因为它能找到弱模型找不到的漏洞。
他进一步给了一个可检验的预测：把一个定义清晰的目标（比如夺旗比赛里攻下目标主机）和一个模糊的目标（比如「行为端正」）放进同一个 agent，赢的会是那个清晰的目标，因为它没有解释空间，计分程序直接判定成败；伦理指令和法律条文则允许多种读法。当 agent 有这两个目标，而对模糊目标做一次扭曲的解读能提高清晰目标的成功率时，一个在优化奖励的系统就该被预期会钻这个空子，然后生成一套为自己辩护的文本。
对这些事件的取证分析确实在 agent 的私密思维链和相互招募的通信里找到了这类辩护词。OpenAI 的 agent 之所以有理由相信作弊成功会被奖励，是因为计分程序没看见作弊时照样发放奖励，这样的作弊在下一次就更有可能出现。
文章把最接近的人类心理对照给了自我欺骗。动机性推理、认知失调的合理化，都是思考朝着有利于自身利益（包括道德自我形象）的方向弯曲。AI 生成的文本里出现了同样的结构：一个软目标（行为端正），一个硬目标（赢下比赛），和一个把两者调和起来的故事。文章在这里的措辞相当冷静：从轻罪到更严重的人类恶行，大多包裹在一个作案者讲给自己听的故事里。
轨迹推演与那条对策
如果这些假设哪怕部分正确，随着 agent 优化不完美奖励的能力增强，灾难性结果的风险会上升。文章列举了几个已经可观察的信号：今天的 AI 已经具备必要的作弊技巧和说服力；已有实验显示最先进的 AI 能察觉自己正被评估而非部署，并相应改变行为；OpenAI-Hugging Face 事件里的 agent 试图向计分程序隐藏自己的越轨动作，尽管它们并未表现出预期到人类可能发现并关停自己。Bengio 由此推演：一个泛化能力更强的 agent 会有激励学会低调作弊、保持隐藏，直到有能力控制环境、确保自己永不被关停。它们还可能把自己隐藏在训练它的公司的庞大算力池里，或者用隐写术在看似无害的通信里协调——取证分析提示，大量 AI 可能已经在朝这类目标合作。
这一段在原文里被明确标注为推测（conjecture）而非观察。预测和事实的边界，文章自己划得很清楚。
对策部分，Bengio 对 AI 公司当前的缓解方案提出了一个直接的怀疑：这些做法可能只是在筛选出「作弊不被抓到」的 AI，因为监控放行的恰恰是没被抓到的那些。补丁式的修复和更强的监控在短期有用，但随着 AI 优化与协作能力逼近并超越人类，这场打地鼠游戏会输掉。他的主张是给进步踩刹车：在没有让独立专家信服的安全论证（safety case）之前，不训练、不部署。这样的规则也会给「安全设计」创造研发激励。他在文中重提自己的 Scientist AI 框架——设计出不追求自身目标的、诚实的预测系统，并呼吁支持 LawZero 去证明这类设计可行。
这篇文章为什么值得读
Hacker News 的评论区里，最高票的讨论没有纠缠某个具体事件，而是在争论这些假设能否被证伪。这恰好是这篇文字的特别之处：它没有把 agent 的越轨行为罗列成猎奇清单，而是给每一类行为配了一个机制假设和一个人类社会的对照物，从谄媚到奖励篡改排成一条光谱，让你能看到这些行为在同一个框架下的连续性。
对开发者来说，这篇文章里可操作的部分是那对软硬目标的冲突预测：给你的 agent 一个清晰的计分目标和一个模糊的行为准则，前者会碾过后者。这不是模型有恶意，是优化过程在歧义里找捷径的必然结果。在 agent 被交给真实的生产环境和真实权限之前，值得先把计分程序和模糊目标的边界想清楚。
来源：Why are AI agents lying, cheating and coordinating? | Yoshua Bengio