具有线性复杂度的交互式多头自注意力
计算机视觉与模式识别
2024-02-28 v1
摘要
我们提出了一种通过分解实现的高效多头自注意力交互方法。对于现有使用多头自注意力的方法，每个头的注意力操作是独立计算的。然而，我们表明注意力矩阵的跨头交互增强了注意力操作的信息流。考虑到每个头的注意力矩阵可以被视为网络的特征，在它们之间建立连接以更好地捕捉交互是有益的。然而，捕捉跨头交互的直接方法在计算上是禁止的，因为复杂度随着注意力矩阵的高维而显著增长。在这项工作中，我们提出了一种有效的方法，将注意力操作分解为无查询和无键组件。这将导致注意力矩阵（特别是针对跨头交互）的尺寸更易于管理。大量的实验结果表明，所提出的跨头交互方法优于现有的高效注意力方法和最先进的骨干模型。
引用
@article{arxiv.2402.17507,
title = {Interactive Multi-Head Self-Attention with Linear Complexity},
author = {Hankyul Kang and Ming-Hsuan Yang and Jongbin Ryu},
journal= {arXiv preprint arXiv:2402.17507},
year = {2024}
}