基于谱分解的残差Transformer对齐

当通过残差流的视角审视Transformer网络时，一个令人困惑的特性浮现出来：残差贡献（如注意力头）有时会专门针对特定任务或输入属性。在本文中，我们分析了视觉Transformer中的这一现象，聚焦于残差的谱几何，并探讨了其对视觉语言模型中模态对齐的影响。首先，我们将其与视觉头表示的内在低维结构联系起来，审视其主成分并表明它们在广泛的输入数据分布中编码了专门化的角色。然后，我们分析了头专门化在多模态模型中的影响，重点关注文本与专门化头之间对齐的改善如何影响零样本分类性能。这种专门化与性能之间的联系在多样化的预训练数据、网络规模和目标中始终成立，展示了通过针对性对齐提升零样本分类的强大新机制。最终，我们通过引入ResiDual——一种残差流谱对齐技术——将这些见解转化为可操作的方案。就像淘金一样，它让无关单元主成分（即属性）产生的噪声被冲走，从而放大与任务相关的成分。值得注意的是，这种模态对齐的双重视角在不同数据分布上实现了微调级别的性能，同时建模了一个极其可解释且参数高效的变换，我们在70个预训练网络-数据集组合（7个模型，10个数据集）上广泛展示了这一点。