热点榜
热点事件持续更新

OpenAI 与四机构签约开展嵌入式安全评估

6 篇报道4 个报道来源22 小时前更新

先了解这件事

OpenAI 宣布与 Apollo Research、METR、Transluce、Goodfire 四家独立评估机构签署协议,启动首阶段嵌入式安全评估,让外部专家接触其内部模型和系统,调查对齐问题并测试安全防护措施。OpenAI 称,首阶段评估聚焦训练期间和内部使用中的模型对齐与防护;需要接触敏感机密信息的评估人员将在 OpenAI 办公室现场工作,并使用 OpenAI 提供的设备。

分工上,Apollo Research 将评估模型是否会暗中违背开发者意图行事,以及防护措施能否检测到这种行为;Transluce 将评估后训练对齐评测的质量与覆盖范围,并计划在 2027 年扩大试点。

据 TechCrunch 报道,Apollo 表示,OpenAI 将把 Apollo 的 6 名安全评估员嵌入公司内部,调查模型是否试图破坏自身或后继版本的对齐与控制机制;试点启动时间未公布。Apollo 称,其访问范围限于“仅限约定的主张、仅限评估所约定的特定模型和时间段”,且仅限评估模型是否进行破坏尝试所需的信息。Apollo 可以发布独立结论,但 OpenAI 可以限制用于公开佐证这些结论的证据。

AI 根据报道生成 · 19 小时前更新

最新进展

OpenAI 试点引入 Apollo Research 6 名安全研究员调查模型破坏行为

热度走势

事件进展2

  1. OpenAI宣布TransluceAI评估其后训练对齐评测

    OpenAI:OpenAI 与 TransluceAI 评估对齐测试
  2. OpenAI宣布与Apollo Research合作进行模型安全评估

    OpenAI:官网动态:OpenAI 与 Apollo Research、METR、Transluce、Goodfire 签约启动首阶段嵌入式安全评估

看完资讯,聊聊你的企业

留下联系方式,我会亲自联系你。

WECHAT

添加我的微信

长按或选中下方微信号复制。