PolaFormer：面向视觉Transformer的极性感知线性注意力
计算机视觉与模式识别
2025-03-05 v2 人工智能
摘要
线性注意力已成为替代基于 softmax 注意力的有前景的方案，利用核化特征图将序列长度为线性降低。然而，特征图上的非负约束以及用于近似的放松指数函数，导致与原始查询-键点积之间存在显著信息损失，结果是注意力图的判别性较差且熵值更高。为解决由查询-键对中负值驱动的缺失相互作用问题，我们提出了一种极性感知线性注意力机制，显式建模相同符号和相反符号查询-键相互作用，确保关系信息的全面覆盖。此外，我们提供了理论分析，证明存在一类元素级函数（具有正的一阶和二阶导数）可降低注意力分布的熵。在简单起见，考虑到每个维度的不同贡献，我们采用可学习的幂函数进行缩放，使强注意力信号和弱注意力信号能够有效分离。大量实验表明，所提出的PolaFormer在各种视觉任务上表现出更好的性能，通过提升表达性和效率（最高提升4.6%）实现。
关键词
引用
@article{arxiv.2501.15061,
title = {PolaFormer: Polarity-aware Linear Attention for Vision Transformers},
author = {Weikang Meng and Yadan Luo and Xin Li and Dongmei Jiang and Zheng Zhang},
journal= {arXiv preprint arXiv:2501.15061},
year = {2025}
}