自监督隐式注意力：由模型自身引导的注意力
计算机视觉与模式识别
2022-07-22 v2
摘要
我们提出自监督隐式注意力（SSIA），一种利用深度神经网络模型自身特性自适应引导模型获得注意力的新方法。SSIA是一种新颖的注意力机制，在推理时不需要任何额外参数、计算或内存访问开销，这与现有注意力机制相反。简言之，通过将注意力权重视为更高层语义信息，我们重新思考了现有注意力机制的实现，并进一步提出由较高网络层生成监督信号以引导较低网络层进行参数更新。我们通过利用网络自身的层次化特征构建自监督学习任务来实现这一点，该任务仅在训练阶段起作用。为验证SSIA的有效性，我们在卷积神经网络模型中进行了一种特定实现（称为SSIA块），并在多个图像分类数据集上进行了验证。实验结果表明，SSIA块能显著提升模型性能，甚至优于许多需要额外参数与计算开销的流行注意力方法，如Squeeze-and-Excitation与Convolutional Block Attention Module。我们的实现将在GitHub上公开。
引用
@article{arxiv.2206.07434,
title = {Self-Supervised Implicit Attention: Guided Attention by The Model Itself},
author = {Jinyi Wu and Xun Gong and Zhemin Zhang},
journal= {arXiv preprint arXiv:2206.07434},
year = {2022}
}