将结果引入自注意力机制
计算机视觉与模式识别
2021-09-29 v1
摘要
卷积网络中的传统自注意力机制倾向于仅使用前一层的输出作为注意力网络的输入，例如 SENet、CBAM 等。在本文中，我们提出了一种新的注意力修改方法，该方法尝试提前获取分类网络的输出并将其用作注意力网络输入的一部分。我们使用 GoogLeNet 中提出的辅助分类器提前获取结果并将其传递到注意力网络中。我们将此机制添加到 SE-ResNet 中进行实验，在 cifar100 上实现了最高 1.94% 的分类精度提升。
引用
@article{arxiv.2109.13860,
title = {Introduce the Result Into Self-Attention},
author = {Chengcheng Ye},
journal= {arXiv preprint arXiv:2109.13860},
year = {2021}
}