Anthropic 撤回暗中限制 AI 研究政策:Claude Fable 5 防护改为可见提醒

"We made the wrong tradeoff"

6月9日,Anthropic 发布了 Claude Fable 5——一个 Mythos 级的前沿模型。但在319页的系统卡(system card)中,藏着一个引发巨大争议的细节:Claude 会对涉及前沿 AI 开发的请求进行隐蔽干预

与网络安全、生物、化学领域的安全限制不同——那些会公开将用户重定向到较低能力的 Opus 4.8 并显示通知——AI 研究相关的限制**"对用户不可见"**。Claude 仍然会回应,但会通过干预手段降低有效性,且不告知用户。

Anthropic 估计该限制影响约 0.03% 的请求,覆盖不到 0.05% 的组织。但消息一经披露,AI 研究界的反应迅速且激烈。

Anthropic 撤回暗中限制政策

批评的核心:不是限制本身,是隐瞒

大部分批评者的焦点不是 Anthropic 是否有权设置安全边界,而是用户完全不知道自己的请求被暗中降级了

AI 研究人员指出,当 Claude 在用户不知情的情况下削弱了响应质量,他们无法判断得到的结果是否可靠。这直接破坏了研究的基本前提——可重复性和结果可信度。WIRED 将其形容为"secret sabotage"。

更深层的不安在于:如果 Anthropic 能在一个领域悄悄这么做,其他领域呢?批评者认为这越过了底线——用户至少应该知道 AI 何时在主动降低自己的表现

Anthropic 的妥协与代价

6月10日,Anthropic 发言人向 The Register 和 Moneycontrol 发布声明,承认"做了错误的权衡",并宣布三项变更:

  • 被标记的请求将可见地回退到 Claude Opus 4.8(不再暗中降级)
  • API 上所有被拒绝的请求将返回拒绝原因
  • 用户每次都能看到防护被触发

但 Anthropic 也坦承了代价:可见防护需要"撒更宽的网"才能保证鲁棒性,这意味着更多正常请求会被误拦(false positive)。隐蔽防护的优势恰恰是精度更高——因为用户不知道有防线,就不容易针对性绕过。公开之后,防线必须更粗犷,误伤率必然上升。

"A hidden safeguard is harder to probe and work around. This means the safeguards can be targeted much more narrowly. A visible safeguard needs to cast a wider net to be more robust, resulting in more requests being incorrectly flagged." — Anthropic 发言人

Claude Fable 5 的其他安全限制

除了 AI 研究相关的限制(现已改为可见),Fable 5 还包含以下安全分类器,这些从一开始就是公开的

  • 网络安全:阻止用于恶意黑客活动的请求
  • 生物学和化学:防止用于制造生物/化学武器的信息
  • 蒸馏(distillation):防止用 Claude 训练竞品模型

Claude Fable 5 的 API 拒绝请求时返回 stop_reason: "refusal",开发者可以通过三种方式重试:服务端 fallback 参数、SDK 中间件、或手动构建重试逻辑。被拒绝且未生成输出的请求不产生费用

更大的背景

此事发生在 Anthropic 秘密提交 S-1 文件的一周后。作为估值 $9650 亿、即将 IPO 的 AI 公司,Anthropic 面临着安全承诺和商业可信度的双重压力。

同时,Claude Mythos 5(同级别旗舰)不包含任何安全分类器,仅通过 Project Glasswing 向有限客户开放。这种双轨策略本身就引发了新的问题:安全限制到底是技术需要还是产品定位工具?

来源:WIRED | The Register | Anthropic 官方声明

相关推荐