排斥注意力：将多头注意力重新视为贝叶斯推断

神经注意力机制在许多自然语言处理应用中起着重要作用。特别地，多头注意力的使用扩展了单头注意力，使模型能从不同视角联合关注信息。然而，若无显式约束，多头注意力可能遭受注意力崩溃问题，即不同头提取相似的注意力特征，从而限制模型的表示能力。本文首次从贝叶斯视角对多头注意力提供了新颖理解。基于近期发展的粒子优化采样技术，我们提出一种非参数方法，显式改善多头注意力中的排斥性，从而增强模型的表达能力。值得注意的是，我们的贝叶斯解释为尚未被充分理解的问题——为何及如何使用多头注意力——提供了理论启示。在多种注意力模型与应用上的大量实验表明，所提排斥注意力能改善所学特征多样性，带来更具信息量的表示，并在各项任务上取得一致的性能提升。