多瞥网络：一种基于循环降采样注意力的鲁棒高效分类架构
计算机视觉与模式识别
2023-04-13 v2
摘要
大多数前馈卷积神经网络对每个像素投入大致相同的计算量。然而，人类的视觉识别是眼动与空间注意力之间的交互过程，我们会对物体不同区域进行多次瞥视。受此观察启发，我们提出了一种端到端可训练的多瞥网络（MGNet），旨在基于循环降采样注意力机制应对高计算量和缺乏鲁棒性的挑战。具体而言，MGNet顺序地选择图像中与任务相关的区域进行关注，然后自适应地组合所有收集到的信息以进行最终预测。MGNet以更少的计算量表现出对对抗攻击和常见图像损坏的强抵抗力。同时，MGNet本质上更具可解释性，因为它明确告知我们在每次迭代中关注的位置。我们在ImageNet100上的实验证明了循环降采样注意力机制在改进单一前馈方式方面的潜力。例如，MGNet在常见图像损坏下平均准确率提高了4.76%，而计算成本仅为36.9%。此外，当基线模型在相同PGD攻击强度下准确率降至7.6%时，MGNet使用ResNet-50骨干网络仍能维持44.2%的准确率。我们的代码可在https://github.com/siahuat0727/MGNet获取。
引用
@article{arxiv.2111.02018,
title = {Multi-Glimpse Network: A Robust and Efficient Classification Architecture based on Recurrent Downsampled Attention},
author = {Sia Huat Tan and Runpei Dong and Kaisheng Ma},
journal= {arXiv preprint arXiv:2111.02018},
year = {2023}
}
备注
Accepted at BMVC 2021