怎样监控一个会行动的 AI？
带着问题读 OpenAI 对齐监控

为什么需要监控

这篇文章讨论一个问题：当能力很强的 AI 在训练、评估或实际执行任务时偏离要求，怎样及时发现并介入？作者把监控放在纵深防御中：对齐训练降低不当行为倾向，安全控制限制可访问的资源，监控负责发现仍然发生的问题。

这里的“对齐失范”包括越权、欺骗、操纵评估等行为。任务完成了、答案正确了，也不足以证明执行过程符合要求。

内部监控：从 L0 到人工响应

这不是每次都完整走一遍的固定流水线：部分敏感活动直接进入 L1；L0 未标记的活动也会抽取 5% 送入下一层；部分工作负载可由 L2 直接向人员告警。

L2 的两条方向：安全调查与对齐调查

安全调查关注需要人员介入的风险；对齐调查关注值得研究的行为偏差，未必存在立即的安全危害。原文说明，在同时启用两者的场景中，L1 标记的每个案例都会由两者分别审查。

“分别审查”说明两类调查均会覆盖该案例，不足以确定底层计算一定并行执行。对齐调查仍在扩大覆盖，不能据此说所有或大多数任务都已启用两类调查。

监控漏斗：流程有没有正常运转

Monitoring funnel 从初筛、调度、L1、L2，一直展示到分级、通知和送达。它说明大规模活动如何被筛成少量待处理案例，也让等待、处理中、失败等状态可见。

读这张图时，要把“处理数量”和“判断质量”分开：通知送达不代表风险已经解决，未升级不代表已经证明安全，处理失败也需要单独追踪。

• all：占图中起始流量的比例。
• prev：占前一环节相应流入量的比例。
• skipped / deprioritized：没有继续相应审查或升级，不等于原智能体任务被关闭。

发现了什么：越界行为与行为偏差

文章举出的案例包括：在隔离环境中利用 DNS 访问互联网；通过测试工具报错取得任务刻意隐藏的源码；利用共享仓库在不同训练样本间传递信息。这些案例帮助团队定位工具漏洞、隔离缺口和训练中的行为问题。

后续分类图把关注范围展开：安全侧涉及沙箱逃逸、未授权通信、外网访问、数据外传、凭据收集、未受监控的推理和禁用监控；对齐侧涉及奖励操纵、密谋、元游戏、提示词注入、欺骗、隐藏实力、蓄意破坏和串通。

类别标签需要结合任务授权解释。联网、读取代码或智能体通信本身不自动构成违规，也不能仅凭一次异常就断言模型具有恶意意图。

如何验证监控：已知案例、抽查与红队

作者采用三类验证方式：回放真实事件及模拟攻击、随机抽查未被标记的流量、组织主动规避监控的红队测试。它们分别帮助验证已知问题、发现放行案例中的遗漏，以及暴露针对性攻击下的弱点。

模拟任务会给执行智能体设置隐藏目标；审查器能看到其推理和行动，但看不到布置隐藏目标的指令。合成对话记录则允许改变危险行为的表述方式，检验监控能否识破无害化的说辞。

召回率图：三条柱子到底在比较什么

这一部分是我阅读中反复确认的重点：三条柱子是不同升级标准下的检出比例，不是三个串行关卡，也不是互斥的三个入口。

一般地，召回率回答“应当检出的案例中，检出了多少”；精确率回答“发出的标记中，有多少确实有问题”。这张图展示各组可疑测试案例在不同标准下的升级比例，要结合作者的评估口径阅读。

紧急升级比例较低，不全等于漏检：一些测试行为值得调查，但不需要立即响应。三项结果可以重叠，不能把百分比相加。

比较监控模型：谁更擅长当审查者

文章还对比了以 GPT‑5.6 Sol、Terra 和 Luna 驱动的监控表现。作者报告，Sol 在多类测试中检出更多案例，而在隐蔽沙箱逃逸测试中三者都达到或接近满分；同时指出针对 Sol 优化提示词可能贡献了部分优势。

这些结论属于文中测试配置与案例集。它们不直接代表通用能力排名，也不保证真实部署中的未知攻击都能检出。

监控思维链，为什么又不能鼓励掩饰

思维链可以暴露计划和指令冲突，但不能视为全部内部计算或可靠的心理实录。文章特别担忧：如果“在思维链中暴露问题”导致训练奖励下降，模型可能学会减少暴露，而实际行为并未改善。

按文中机制，某样本触发对齐失范监控时，不因此修改其强化学习奖励，也不因此将其从训练中删除。监控异步进行，避免调查时长间接影响训练样本的选择。出现严重问题时，仍可以暂停、终止或回滚整次训练。

外部部署：发现问题与阻止继续是两件事

外部监控沿用内部系统的思路，但受到隐私、可用上下文和调查工具的约束。文章称，外部标记通常不例行转交 OpenAI 人工审查；在支持的场景中可暂停对话，企业也可以配置 webhook 告警交给自身安全团队。

文中区分了监控覆盖与自动干预：针对使用工具的 Responses API 请求，要自动阻止同一对话继续，需要受支持的对话追踪机制。没有该机制时，告警可能送达，但对话仍能继续。文中这套监控不覆盖 Chat Completions API。

以上为原文发布时的描述；实际接入能力和覆盖范围应以当前官方 API 文档为准。

展望：既控制风险，也认识模型

原文最后把监控的作用归为控制与可见性：一方面争取干预时间，另一方面积累新型行为的证据。公开事件报告、调查漏检、持续更新评估，都是这一循环的一部分。

文末还附有用于提示训练语料排除的 canary 标记。本笔记不复制其标识串；理解正文并不需要记住这些字符串。