探索自注意力在图像识别中的应用
计算机视觉与模式识别
2020-04-29 v1
摘要
近期研究表明，自注意力可作为图像识别模型的基本构建模块。我们探索了自注意力的多种变体，并评估了它们在图像识别中的有效性。我们考虑两种形式的自注意力。一种是成对自注意力（pairwise self-attention），它推广了标准点积注意力，本质上是一个集合算子。另一种是块自注意力（patchwise self-attention），它严格强于卷积。我们的成对自注意力网络匹配或优于其卷积对应模型，而块模型大幅优于卷积基线。我们还进行了探究学习表征鲁棒性的实验，并得出结论：自注意力网络在鲁棒性和泛化性方面可能具有显著优势。
引用
@article{arxiv.2004.13621,
title = {Exploring Self-attention for Image Recognition},
author = {Hengshuang Zhao and Jiaya Jia and Vladlen Koltun},
journal= {arXiv preprint arXiv:2004.13621},
year = {2020}
}
备注
CVPR 2020, Code available at https://github.com/hszhao/SAN