Anthropic 在单层 Transformer 中刻画干扰权重
Characterizing interference weights in a tiny language model
AI 导读Anthropic 训练一个单层 Transformer 并将其分解为 token、位置、特征与 logits 之间的虚拟权重,首次在训练好的 Transformer 中通过测量对训练损失的影响,实证展示了一个具体的干扰权重:从 "IN" 经残差流到 logits 的最大虚拟权重投票补出 "utions",而该 token 在训练集中从不跟随 "IN",只会抬高损失。
来源:Anthropic:Transformer Circuits · transformer-circuits.pub