OpenAI 推出了 GPT-Red，这是一套用于识别语言模型安全漏洞的自动化 AI 系统，并在周三宣布，该工具在部署之前帮助强化了 GPT-5.6，以抵御提示注入攻击。该系统旨在解决随着模型能力增长，AI 安全对抗红队测试所面临的规模化瓶颈。GPT-Red 代表了 OpenAI 通过自动化安全测试来补充其现有的 OpenAI Red Teaming Network（已于 2023 年上线）的努力：借助 AI 模型以一种人类研究人员单靠自身难以达到的规模生成对抗性攻击。
GPT-Red 之所以得名，源自网络安全领域的“红队对抗”（cybersecurity red teaming）：即故意尝试破坏系统，以在攻击者利用之前识别其弱点。公司表示，GPT-Red 发现的攻击被纳入 GPT-5.6 的训练流程。OpenAI 在 X 上写道：红队对抗至关重要，但现有方法难以扩展规模，形成关键瓶颈；GPT-Red 正是为了解决这一问题。
GPT-Red 在内部评估中实现 84% 成功率
OpenAI 报告称，GPT-Red 在 84% 的内部评估场景中取得成功，而同一测试中人类红队对抗者的成功率为 13%。在 GPT-5.6 训练期间，该系统降低了在其中一个最难的提示注入基准测试上的失败率。根据 OpenAI 的说法，GPT-Red 通过对抗式自我对战（adversarial self-play）学习：其目标是让它去进行各种具有挑战性的、防御模型提示注入，而每一次成功攻击都会用于改进这些防御者。
自我对战强化学习为 GPT-Red 训练提供动力
GPT-Red 通过 Self-Play Reinforcement Learning（自我对战强化学习）进行训练：在此过程中生成逐步更强的提示注入攻击，而防御模型则学习抵御它们。OpenAI 表示，这种方法促使 GPT-Red 不断发现更广泛、更复杂的失败模式。公司将这一过程描述为安全领域的“飞轮”：今天的模型可以用来让明天的模型更稳健、更一致（aligned）且更值得信赖。
售货机代理被操纵展示 GPT-Red 能力
在一个案例研究中，OpenAI 表示，该系统在漏洞被披露并得到处理之前，就将一个自主售货机代理操纵到降低价格、下单折扣库存，并在其他客户的订单被取消之前终止其订单。该案例研究展示了 GPT-Red 旨在在模型部署前识别的现实世界安全风险类型。
AI 保障 AI：反映行业更广泛的转向
OpenAI 的公告反映了朝着使用 AI 来保障 AI 系统安全这一更广泛的行业转变。本月早些时候，以太坊基金会表示，它已部署 AI 代理对关键网络基础设施进行红队测试，发现了以太坊共识客户端中使用的软件存在漏洞。研究人员表示，AI 代理可以比人类搜索更大的代码库，但挑战已从寻找潜在漏洞转变为证明哪些漏洞是可被利用的。
OpenAI 表示，GPT-Red 将保持为内部工具，因为它包含了有意开发的进攻性能力。该系统旨在补充人类红队对抗者、第三方测试以及其他 AI 安全措施。GPT-Red 延续了 OpenAI 在 ChatGPT 公开发布之后多年的网络安全工作：它扩展了 OpenAI Red Teaming Network（该网络招募了外部网络安全研究人员和领域专家），用于探测模型的安全缺陷。
常见问题
什么是 GPT-Red，它做什么？
GPT-Red 是 OpenAI 推出的自动化 AI 系统，旨在通过对抗测试在语言模型中寻找安全漏洞。该系统使用自我对战强化学习生成提示注入攻击和其他对抗性测试，并将成功的攻击纳入模型训练，以提升稳健性。
GPT-Red 与人类红队对抗者相比表现如何？
OpenAI 报告称，GPT-Red 在 84% 的内部评估场景中取得成功，而同一测试中人类红队对抗者的成功率为 13%。该系统用于训练 GPT-5.6，并降低了在 OpenAI 其中一个最难的提示注入基准测试上的失败率。
为什么 GPT-Red 会保持为内部工具？
OpenAI 表示，GPT-Red 将保持为内部工具，因为它包含了有意开发的进攻性能力。该系统设计用于补充人类红队对抗者、第三方测试以及其他 AI 安全措施，而不是公开发布。
