卷积矩形注意力模块
计算机视觉与模式识别
2025-09-01 v2 机器学习
机器学习
摘要
在本文中，我们引入了一种可轻松集成到任何卷积网络中的新型空间注意力模块。该模块引导模型关注图像中最具判别性的部分。这使得模型能够通过端到端训练获得更好的性能。在传统方法中，空间注意力图通常以逐位置的方式生成。因此，这通常会导致不规则的边界，从而阻碍对新样本的泛化。在我们的方法中，注意力区域被约束为矩形。该矩形仅由 5 个参数参数化，从而具有更好的稳定性并能够泛化到新样本。在我们的实验中，我们的方法系统性地优于逐位置的对应方法。因此，我们为卷积模型提供了一种新颖且有用的空间注意力机制。此外，我们的模块还提供了关于“看哪里”这一问题的可解释性，因为它有助于了解输入中模型聚焦以产生预测的部分。
引用
@article{arxiv.2503.10875,
title = {Convolutional Rectangular Attention Module},
author = {Hai-Vy Nguyen and Fabrice Gamboa and Sixin Zhang and Reda Chhaibi and Serge Gratton and Thierry Giaccone},
journal= {arXiv preprint arXiv:2503.10875},
year = {2025}
}