从图视角重新审视 BERT 中的过平滑现象

近来，基于 Transformer 的模型的过平滑现象在视觉与语言领域均被观察到。然而，现有工作均未深入探究该现象的主要成因。本工作尝试从图的角度分析过平滑问题，该问题最早在图中被发现与探讨。直观上，自注意力矩阵可视为对应图的归一化邻接矩阵。基于上述联系，我们提供一些理论分析，发现层归一化在基于 Transformer 的模型的过平滑问题中起关键作用。具体而言，若层归一化的标准差足够大，Transformer 堆叠的输出将收敛至特定低秩子空间并导致过平滑。为缓解过平滑问题，我们考虑分层融合策略，自适应地结合不同层的表示以使输出更具多样性。在各数据集上的大量实验结果说明了我们融合方法的效果。