当 QK 特征谱集中时自注意力网络会局部化
机器学习
2024-02-06 v1 机器学习
摘要
自注意力机制在现代机器学习中占据主导地位。它具有通过调节注意力局部化程度来自适应地从输入序列中选择 token 的有趣功能，许多研究人员推测这是强大模型性能的基础，但也使底层学习动态机制变得复杂。近年来，主要有两种论点将注意力局部化与模型性能联系起来。一是秩坍塌 (rank collapse)，即自注意力块嵌入的 token 在不同 token 间变得非常相似，导致网络表达能力降低。二是熵坍塌 (entropy collapse)，即注意力概率趋近于非均匀分布并导致低熵，使得学习动态更容易陷入平台期。这两种失败模式表面上似乎相互矛盾，因为秩坍塌和熵坍塌分别与均匀注意力和非均匀注意力相关。为此，我们通过查询 - 键 (query-key) 参数矩阵的特征谱来刻画注意力局部化的概念，并揭示出较小的特征谱方差会导致注意力局部化。有趣的是，较小的特征谱方差同时防止了秩坍塌和熵坍塌，从而带来了更好的模型表达能力和可训练性。
引用
@article{arxiv.2402.02098,
title = {Self-attention Networks Localize When QK-eigenspectrum Concentrates},
author = {Han Bao and Ryuichiro Hataya and Ryo Karakida},
journal= {arXiv preprint arXiv:2402.02098},
year = {2024}
}