Heuristic Core：预训练语言模型中子网络泛化的理解

先前的研究发现，针对不同随机种子微调的预训练语言模型（LM）在同一领域内的表现相似，但在语法泛化测试上表现不同。在本工作中，我们表明，即使在单个模型内部，也可以找到多个在同一领域内表现相似，但在泛化方面差异巨大的子网络。为更好地理解这些现象，我们调查是否可以用“竞争子网络”来解释：模型最初代表多种不同的算法，对应于不同的子网络，而泛化发生在其最终收敛到其中一种时。这种解释已被用于解释简单算法任务（“grokking”）中的泛化。与寻找竞争子网络不同，我们发现所有子网络——无论其泛化与否——都共享一组注意力头，我们称为“heuristic core”。进一步的分析表明，这些注意力头在训练初期即出现，并计算浅层、非泛化特征。模型通过纳入额外的注意力头来学习泛化，这些注意力头依赖于“heuristic”注意力头的输出，以计算更高层次的特征。总体而言，我们的结果为预训练 LM 中的语法泛化机制提供了更详细的图景。