DCANet：为卷积神经网络学习连通的注意力
计算机视觉与模式识别
2020-07-13 v1
摘要
尽管自注意力机制已在许多视觉任务中展现出有前景的结果，它一次仅考虑当前特征。我们表明这种方式无法充分利用注意力机制。本文提出深度连通注意力网络（DCANet），一种在不修改内部结构的情况下增强 CNN 模型中注意力模块的新颖设计。为此，我们互连相邻的注意力块，使信息在注意力块之间得以流动。借助 DCANet，CNN 模型中的所有注意力块被联合训练，从而提升注意力学习的能力。我们的 DCANet 是通用的，不局限于特定的注意力模块或基础网络架构。在 ImageNet 与 MS COCO 基准上的实验结果表明，DCANet 在所有测试用例中以极小的额外计算开销一致优于最先进的注意力模块。所有代码与模型均已公开可用。
引用
@article{arxiv.2007.05099,
title = {DCANet: Learning Connected Attentions for Convolutional Neural Networks},
author = {Xu Ma and Jingda Guo and Sihai Tang and Zhinan Qiao and Qi Chen and Qing Yang and Song Fu},
journal= {arXiv preprint arXiv:2007.05099},
year = {2020}
}