通过正则化非局部泛函缓解 Transformer 中的过平滑

Transformer 在广泛的自然语言处理与计算机视觉应用中取得了显著成功。然而，深层 Transformer 模型的表征能力会因过平滑问题而退化，即随着模型深度增加，词元表征变得相同。本工作中，我们表明 Transformer 中的自注意力层最小化一个促进平滑的泛函，从而导致词元均匀化。我们随后提出一种新颖的正则化项，惩罚自注意力得到的平滑输出词元与输入词元之间差异的范数，以保留词元的保真度。通过最小化所得正则化能量泛函，我们推导出带正则化非局部泛函的神经 Transformer (NeuTRENO)，一类可缓解过平滑问题的新型 Transformer 模型。我们在包括目标分类、图像分割与语言建模在内的多种实际任务上，通过实验证明了 NeuTRENO 相较于基线 Transformer 与最先进方法在降低词元表征过平滑方面的优势。