先了解这件事
Goodfire Research 发布论文,提出 mechanistic shaping 框架,在训练中通过 reliance shaping 和 expression shaping 惩罚模型对特定内部概念的依赖或表达,目标是让模型以正确方式解题,而不只是答对。
据 Goodfire 称,该框架已在胸部 X 光判读、大语言模型的 reward hacking 和 sycophancy 三类场景中应用。目前公开的是论文与博客总结,尚未给出可独立核验的效果数据。
AI 根据报道生成 · 12 天前更新最新进展
Goodfire 提出 mechanistic shaping 框架 用内部表征抑制模型走捷径
事件进展1
Goodfire Research发布机制塑造框架以改善模型对齐与监控
Goodfire Research:Goodfire 提出 mechanistic shaping 框架 用内部表征抑制模型走捷径