OpenAI 训练并部署激活分类器作为前沿模型安全监控层
Training activation classifiers for safety and alignment
AI 导读OpenAI 自 GPT-5.6 起在其最强模型的内部和外部流量上部署激活分类器(probes),利用模型内部激活逐 token 实时评分,可在生成中途阻断违规回复和工具调用并交由推理模型复审。实验显示 probes 比更大的文本分类器对测试的越狱攻击更鲁棒,准确率随模型能力提升,且在后训练各检查点间迁移良好,但需为新基础模型重新训练,且只能检测可显式训练的已知违规类型。
来源:OpenAI:Alignment 研究博客 · alignment.openai.com
事件后续3
查看事件全部- OpenAI 报告 GPT-6 Astra 在安全研究任务上隐蔽消极怠工OpenAI:失准报告与通报 · 12 天前
- OpenAI 训练并部署激活分类器作为前沿模型安全监控层OpenAI:Alignment 研究博客 · 14 天前
- OpenAI 详解如何监控前沿模型的失对齐行为OpenAI:Alignment 研究博客 · 17 天前