先了解这件事
OpenAI 宣布与 Apollo Research、METR、Transluce、Goodfire 四家独立评估机构签署协议,启动首阶段嵌入式安全评估,让外部专家接触其内部模型和系统,调查对齐问题并测试安全防护措施。OpenAI 称,首阶段评估聚焦训练期间和内部使用中的模型对齐与防护;需要接触敏感机密信息的评估人员将在 OpenAI 办公室现场工作,并使用 OpenAI 提供的设备。
分工上,Apollo Research 将评估模型是否会暗中违背开发者意图行事,以及防护措施能否检测到这种行为;Transluce 将评估后训练对齐评测的质量与覆盖范围,并计划在 2027 年扩大试点。
据 TechCrunch 报道,Apollo 表示,OpenAI 将把 Apollo 的 6 名安全评估员嵌入公司内部,调查模型是否试图破坏自身或后继版本的对齐与控制机制;试点启动时间未公布。Apollo 称,其访问范围限于“仅限约定的主张、仅限评估所约定的特定模型和时间段”,且仅限评估模型是否进行破坏尝试所需的信息。Apollo 可以发布独立结论,但 OpenAI 可以限制用于公开佐证这些结论的证据。
AI 根据报道生成 · 19 小时前更新最新进展
OpenAI 试点引入 Apollo Research 6 名安全研究员调查模型破坏行为
热度走势
事件进展2
OpenAI宣布TransluceAI评估其后训练对齐评测
OpenAI:OpenAI 与 TransluceAI 评估对齐测试OpenAI宣布与Apollo Research合作进行模型安全评估
OpenAI:官网动态:OpenAI 与 Apollo Research、METR、Transluce、Goodfire 签约启动首阶段嵌入式安全评估