层归一化对变换器中记忆与泛化的影响

层归一化（LayerNorm）是变换器中用于稳定训练和改进优化的基本组件之一。近期，预层归一化变换器因其稳定的梯度流而成为优于后层归一化变换器的首选选择。然而，层归一化对这些架构中学习与记忆的影响仍不明确。本文我们研究层归一化如何影响预层归一化和后层归一化变换器中的记忆与学习。我们识别出，层归一化是预层归一化变换器实现稳定学习的关键因素，而在后层归一化变换器中，它影响记忆。我们的分析揭示，消除预层归一化模型中的层归一化参数会加剧记忆并使学习不稳定，而在后层归一化模型中，则通过恢复真实标签有效缓解记忆。我们进一步精确地确定，早期层的层归一化是最关键的，介于中间/后期层之间，其影响在预层归一化和后层归一化模型中各不相同。我们通过在6个视觉和语言数据集上进行13个模型的验证来确认这一点。这些见解为理解层归一化在变换器中塑造记忆与学习方面的作用提供了新的视角。