ConAM:面向卷积神经网络的置信度注意力模块
计算机视觉与模式识别
2022-03-22 v3
摘要
所谓的“注意力”是一种提升卷积神经网络性能的高效机制。它利用上下文信息对输入进行重标定,以加强信息性特征的传播。然而,大多数注意力机制仅考虑局部或全局上下文信息之一,在特征提取上较为单一。此外,许多现有机制直接利用上下文信息重标定输入,片面增强了信息性特征的传播,却未抑制无用特征。本文提出一种基于局部与全局上下文信息之间相关性的新型注意力机制模块,并将该相关性命名为置信度。该新颖注意力机制同时提取局部与全局上下文信息,并计算二者间的置信度,随后利用此置信度对输入像素进行重标定。局部与全局上下文信息的提取增加了特征的多样性。基于置信度的重标定以更少的参数在增强信息性特征的同时抑制了无用信息。我们在实验中使用了 CIFAR-10 与 CIFAR-100,并通过充分的消融研究探究了方法各组件的性能。最后,我们将方法与多种最先进的卷积神经网络进行比较,结果表明我们的方法完全超越了这些模型。我们使用 Python 库 Pytorch 实现 ConAM,代码与模型将公开可用。
引用
@article{arxiv.2110.14369,
title = {ConAM: Confidence Attention Module for Convolutional Neural Networks},
author = {Yu Xue and Ziming Yuan and Ferrante Neri},
journal= {arXiv preprint arXiv:2110.14369},
year = {2022}
}
备注
We need to withdraw this article due to a conflict of interest