Vision Transformers 是循环注意力学习者

自注意力机制一直是视觉 Transformer 取得进展的关键因素。然而，其二次复杂度在高分辨率场景下带来沉重的计算负担，限制了实际应用。先前方法通过引入局部性或稀疏性等手工模式来缓解此问题，却不可避免地损害模型容量。本文提出一种新颖注意力范式，称为循环注意力（Circulant Attention），通过利用自注意力的内在高效模式实现。具体而言，我们首先识别到视觉 Transformer 中的自注意力矩阵常常近似于具有循环子块的块循环矩阵（Block Circulant matrix with Circulant Blocks, BCCB），这是一种其矩阵乘法可在 $\mathcal{O}(N\log N)$ 时间内完成的结构矩阵。基于此有趣的模式，我们显式地将注意力图建模为其最近的 BCCB 矩阵，并提出一种高效计算算法进行快速计算。 resulting approach closely mirrors vanilla self-attention, differing only in its use of BCCB matrices. Since our design is inspired by the inherent efficient paradigm, it not only delivers $\mathcal{O}(N\log N)$ computation complexity, but also largely maintains the capacity of standard self-attention. Extensive experiments on diverse visual tasks demonstrate the effectiveness of our approach, establishing circulant attention as a promising alternative to self-attention for vision Transformer architectures. Code is available at https://github.com/LeapLabTHU/Circulant-Attention.