积分 Transformer：去除注意力噪声，适度不过度

Softmax 自注意力机制常为语义无信息的标记（如特殊标记和标点）分配不成比例的权重，已知为注意力噪声。在近期方法如 Cog Attention 和 Differential Transformer 中，通过引入负注意力得分来解决此问题，但风险在于丢弃有用信息。在本文中，我们提出了 Integral Transformer，一种新的自注意力机制，通过积分来自采样 logit 分布所获得的信号来去除注意力噪声。我们的做法能够在保留对模型性能至关重要的特殊标记贡献的同时缓解噪声。广泛的实验表明，我们的模型在众所周知的知识和推理语言基准上超越了 vanilla、Cog 和 Differential 注意力变体。更进一步地，我们的分析揭示，在下层 Transformer 层中使用 vanilla 自注意力可提升性能，并且 Integral Transformer 有效平衡注意力分布，减少上层的秩坍缩。