用于视觉理解的轻量级结构感知注意力
计算机视觉与模式识别
2025-07-04 v2
摘要
注意力算子自因其可通过可调核提供一定灵活性而被广泛用作视觉理解中的基础构件。然而，该算子存在固有局限：（1）注意力核判别性不足，导致高冗余；（2）计算与内存复杂度在序列长度上呈二次方。在本文中，我们提出一种新颖的注意力算子，称为轻量级结构感知注意力（LiSA），其具有更好的表示能力且复杂度为对数线性。我们的算子通过学习结构模式使注意力核更具判别性。这些结构模式通过利用一组相对位置嵌入（RPEs）作为乘性权重进行编码，从而提升注意力核的表示能力。此外，对 RPEs 进行近似以获得对数线性复杂度。我们的实验与分析表明，所提算子优于自注意力及其他现有算子，在 ImageNet-1K 及下游任务如 Kinetics-400 上的视频动作识别、COCO 上的目标检测与实例分割、ADE-20K 上的语义分割上取得了最先进结果。
引用
@article{arxiv.2211.16289,
title = {Lightweight Structure-Aware Attention for Visual Understanding},
author = {Heeseung Kwon and Francisco M. Castro and Manuel J. Marin-Jimenez and Nicolas Guil and Karteek Alahari},
journal= {arXiv preprint arXiv:2211.16289},
year = {2025}
}
备注
12 pages, 4 figures