计算机视觉中的自适应注意力跨度
计算机视觉与模式识别
2020-04-21 v1 机器学习
摘要
Transformer在语言建模中的最新发展为计算机视觉开辟了新的研究领域。2019年底的结果表明，当用局部自注意力核替代卷积时，目标检测和识别性能均有大幅提升。使用局部自注意力核的模型与仅使用卷积的等效架构相比，参数和FLOPS也更少。在这项工作中，我们提出了一种学习局部自注意力核大小的新方法。然后，我们将其性能与固定大小的局部注意力和卷积核进行比较。我们所有实验和模型的代码可在https://github.com/JoeRoussy/adaptive-attention-in-cv获取。
引用
@article{arxiv.2004.08708,
title = {Adaptive Attention Span in Computer Vision},
author = {Jerrod Parker and Shakti Kumar and Joe Roussy},
journal= {arXiv preprint arXiv:2004.08708},
year = {2020}
}
备注
6 pages with 1 Algorithm, 4 figures, 1 Table and 1 page appendix