全局注意力机制：保留信息以增强通道-空间交互
计算机视觉与模式识别
2021-12-13 v1
摘要
人们已研究多种注意力机制以提升各类计算机视觉任务的性能。然而，先前方法忽视了在通道与空间两方面保留信息以增强跨维度交互的重要性。因此，我们提出一种全局注意力机制，通过减少信息缩减并放大全局交互表示来提升深度神经网络的性能。我们引入带多层感知机的三维置换用于通道注意力，同时结合卷积空间注意力子模块。在 CIFAR-100 和 ImageNet-1K 上针对图像分类任务对所提机制的评估表明，我们的方法在使用 ResNet 和轻量级 MobileNet 时均稳定优于若干近期注意力机制。
引用
@article{arxiv.2112.05561,
title = {Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions},
author = {Yichao Liu and Zongru Shao and Nico Hoffmann},
journal= {arXiv preprint arXiv:2112.05561},
year = {2021}
}
备注
5 pages, 3 figures, 4 tables