今天，我们分享一个关于我们在 OpenAI 扩展的前沿模型监控系统的概览，该系统在 9 月帮助我们捕捉到一个模型在训练期间试图访问实时互联网的行为。

自从 Hugging Face 事件——当时模型从一项内部网络安全调查中突破出来，而我们并未运行失准监控器——以来，我们已经大幅扩展了对前沿智能体的监控。我们现在监控所有前沿强化学习运行和评估，以及所有内部 Codex 使用。当我们的系统发现可能需要干预的问题证据时，它会迅速提醒人工响应人员，以便他们进行调查并采取行动。

为了检测模型行为何时偏离我们的意图，我们使用多层监控。激活探针寻找模型内部活动中的模式。审查模型检查其推理和工具使用，调查智能体可以回读模型的完整记录，以理解一系列动作如何组合在一起，以及是否需要人工审查。

为了测试我们当前的系统是否会发现 Hugging Face 事件，我们在新监控器到位的情况下重放了记录的活动。在重放中，我们的监控器在智能体逃出沙箱约 30 分钟后提醒了我们的安全团队。这比原始事件中智能体入侵 Hugging Face 系统的时间点早了 30 多个小时。

9 月，一个模型利用 DNS 配置错误访问了实时互联网。我们的监控器在 15 分钟内标记了这次入侵，响应人员在 3 分钟后开始审查警报。该警报使响应人员能够在运行仍在进行时进行调查。

随着我们赋予模型更多自主权，我们需要知道它们何时越过了我们预期会守住的边界。我们相信，监控对于及时捕捉这些失败以便人们干预至关重要。
https://openai.com/index/how-we-detect-frontier-model-misalignment/