谱探针电路：识别预训练变换器注意力头电路的三步法

我们提出一种用于识别预训练变换器注意力头电路的三步法。每个注意力头的谱信号——即每个头注意力输出时间积分参与比——在无需标签或归因梯度的情况下，对正在进行内容依赖计算的头进行排序。任务模式筛选器将这一通用指标筛选为任务特定的候选电路，随机控制组的群体消失则完成因果论断。我们在 8 倍参数范围（51M 到 1B 活跃 / 7B 总计）、两个架构族（稠密、稀疏专家）以及四个预训练管道中进行验证。该法谱信号无监督预测：在 51M 参数探针模型的六个独立随机种子上，同一计算在每个随机种子上均识别出该种子特定的电路。正在进行可识别专门化计算的头的比例在 Pythia 系列（124M 到 410M）中保持在 17-19%，而特定的归纳电路仅为 3-11 个——远低于总头数。本文是三篇论文计划的 methodology 锚点；随章节论文将该法谱信号推广到预训练期间的发展轨迹，以及到模式选择性脱离任务因果结构的组合任务电路。