高效注意力：具有线性复杂度的注意力机制
计算机视觉与模式识别
2024-01-22 v9 人工智能
机器学习
摘要
点积注意力在计算机视觉和自然语言处理中有广泛应用。然而，其内存和计算成本随输入大小呈二次增长。这种增长阻碍了其在高分辨率输入上的应用。为弥补这一缺陷，本文提出了一种新颖的高效注意力机制，其等价于点积注意力，但具有大幅降低的内存和计算成本。其资源效率使得注意力模块能够更广泛和灵活地集成到网络中，从而带来更好的精度。经验评估证明了其优势的有效性。高效注意力模块在 MS-COCO 2017 上为目标检测器和实例分割器带来了显著的性能提升。此外，资源效率使注意力得以应用于复杂模型，而高成本曾禁止点积注意力的使用。作为一个范例，带有高效注意力的模型在 Scene Flow 数据集上实现了立体深度估计的最优精度。代码可在 https://github.com/cmsflash/efficient-attention 获取。
引用
@article{arxiv.1812.01243,
title = {Efficient Attention: Attention with Linear Complexities},
author = {Zhuoran Shen and Mingyuan Zhang and Haiyu Zhao and Shuai Yi and Hongsheng Li},
journal= {arXiv preprint arXiv:1812.01243},
year = {2024}
}
备注
To appear at WACV 2021