HDAM：面向卷积神经网络的启发式差异注意力模块
计算机视觉与模式识别
2022-03-22 v3
摘要
注意力机制是增强卷积神经网络最重要的先验知识之一。大多数注意力机制与卷积层绑定，并利用局部或全局上下文信息对输入进行重标定。这是一种流行的注意力策略设计方法。全局上下文信息有助于网络考虑整体分布，而局部上下文信息更具通用性。上下文信息使网络关注特定感受野的均值或最大值。与大多数注意力机制不同，本文提出了一种具有启发式差异注意力模块的新型注意力机制，即HDAM。HDAM的输入重标定基于局部与全局上下文信息之间的差异，而非均值和最大值。同时，为使不同层具有更合适的局部感受野尺寸并增加局部感受野设计的灵活性，我们使用遗传算法启发式地生成局部感受野。首先，HDAM提取全局与局部感受野的均值作为相应的上下文信息。然后计算全局与局部上下文信息之间的差异。最后HDAM利用该差异对输入进行重标定。此外，我们利用遗传算法的启发式能力搜索各层的局部感受野尺寸。我们在CIFAR-10和CIFAR-100上的实验表明，HDAM能用比其他注意力机制更少的参数实现更高的准确率。我们使用Python库Pytorch实现HDAM，代码和模型将公开可用。
引用
@article{arxiv.2202.09556,
title = {HDAM: Heuristic Difference Attention Module for Convolutional Neural Networks},
author = {Yu Xue and Ziming Yuan},
journal= {arXiv preprint arXiv:2202.09556},
year = {2022}
}
备注
We need to withdraw this article due to a conflict of interest