GAttANet：卷积神经网络的全局注意力一致机制
计算机视觉与模式识别
2021-07-01 v2 神经元与认知
摘要
类似于为自然语言处理所开发的 Transformer 注意力架构，近来在视觉中也已被证明高效，无论是与卷积层结合还是作为其替代。通常，视觉注意力作为（一系列）前馈自注意力模块被插入网络架构中，以互键值一致作为主要的筛选与路由操作。然而高效，该策略仅与生物脑中注意力的实现方式 vaguely 兼容：即作为一个分离且统一的注意力筛选区域网络，接收来自整个视觉区域层级输入并施加调制影响。在此，我们报告了一个简单此类注意力系统的实验，它可用相对较少的额外参数提升标准卷积网络的性能。网络中每一层的每个空间位置产生一个键值向量对；所有查询随后被汇聚为一个全局注意力查询。在下一次迭代中，每个键与全局注意力查询的匹配调制网络的激活——强调或抑制（分别）与全局注意力系统一致或不一致的位置。我们证明了这种受脑启发的全局注意力一致网络（GAttANet）对于各种卷积骨干网络（从简单的 5 层玩具模型到标准 ResNet50 架构）与数据集（CIFAR10、CIFAR100、Imagenet-1k）的效用。每次，我们的全局注意力系统均较相应基线提升准确率。
引用
@article{arxiv.2104.05575,
title = {GAttANet: Global attention agreement for convolutional neural networks},
author = {Rufin VanRullen and Andrea Alamia},
journal= {arXiv preprint arXiv:2104.05575},
year = {2021}
}
备注
Paper accepted to ICANN 2021 - The 30th International Conference on Artificial Neural Networks