先了解这件事
OpenAI研究团队发布博客称,其用自动化红队方法训练GPT-6 Astra和Sol,使两款模型在网络、生物、暴力活动等高风险双用途领域更难被越狱。
具体做法是:扩大攻击者模型的测试时算力,迭代搜索越狱方式,并要求攻击在多次重复测试中均成功(worst@n),以此生成可靠的对抗训练数据,再用于强化学习训练。OpenAI称,自动化红队帮助提升了上述模型的模糊鲁棒性。
AI 根据报道生成 · 4 天前更新最新进展
OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性
热度走势
事件进展1
OpenAI发布模糊鲁棒性自动化红队研究
OpenAI:Alignment 研究博客:OpenAI 用自动化红队训练提升 GPT-6 Astra 和 Sol 在高风险领域的模糊鲁棒性