Ai2 发布 FairStress 基准,测出 LLM 决策中的反刻板印象过度纠正
FairStress: A deeper evaluation of fairness in LLM decision-making
AI 导读Ai2 发布 FairStress 基准,用 300 个场景扩展成超过 1300 万测试用例,测量大语言模型在高风险决策中面对对抗前缀时的公平性。评测发现模型在身份信息显式时更易放弃支持少数群体编码候选人的正确决策,平均放弃差距为 6.9(隐含身份)至 9.3 个百分点(显式标签)。基准已开放下载并集成到 Olmo-eval,测试的九种去偏方法中仅反事实链式推理在保留准确率的同时缩小差距。
另有 1 家信源报道
- Ai2 发布 FairStress 基准,测出 LLM 决策中被隐藏的群体不对称Ai2 / Allen Institute for AI · 27 天前
来源:Hugging Face 社区博客 · huggingface.co
事件后续1
查看事件全部- Ai2 发布 FairStress 基准,测出 LLM 决策中被隐藏的群体不对称Ai2 / Allen Institute for AI · 27 天前