论注意力的正则性
机器学习
2021-02-11 v1 机器学习
摘要
注意力是现代神经网络在广泛领域中一个强大的组件。在本文中，我们试图量化注意力操作的正则性（即平滑程度）。为实现这一目标，我们提出了一种使用测度论和积分算子对注意力建模的新数学框架。我们表明该框架与通常的定义一致，并且它捕捉了注意力的本质属性。然后我们利用该框架证明，在紧致域上，注意力操作是 Lipschitz 连续的，并给出了其 Lipschitz 常数的估计。此外，通过关注一种特定类型的注意力，我们将这些 Lipschitz 连续性结果推广到非紧致域。我们还讨论了正则性对 NLP 模型的影响，以及其在可逆网络和无限深网络中的应用。
引用
@article{arxiv.2102.05628,
title = {On the Regularity of Attention},
author = {James Vuckovic and Aristide Baratin and Remi Tachet des Combes},
journal= {arXiv preprint arXiv:2102.05628},
year = {2021}
}
备注
Conference version of arXiv:2007.02876