稀疏注意力分解在电路追踪中的应用

许多论文表明，注意力头之间会协同工作以完成复杂任务。人们经常假设注意力头之间的通信是通过将特定特征添加到词残差中来实现的。本文旨在隔离并识别用于在 GPT-2 small 中实现注意力头之间通信和协调的特征。我们利用解决问题的关键方法是展示，这些特征在注意力头矩阵的奇异向量中往往以稀疏方式编码。我们描述了这些信号在 GPT-2 small 中用于间接对象识别（IOI）任务时的维度和出现情况。注意力头奇异向量提供的稀疏信号编码，使得从残差背景中有效分离信号并 straightforwardly 识别注意力头之间的通信路径成为可能。我们通过追踪 IOI 任务中电路部分的轨迹来探索这种方法的有效性。我们的轨迹揭示了以前研究中所不存在的大量细节，阐明了 GPT-2 中冗余路径的本质。我们的轨迹超越了前人的工作，识别了在执行 IOI 时用于在注意力头之间进行通信的特征。