移位与平衡注意力
计算机视觉与模式识别
2021-03-25 v1 机器学习
神经与进化计算
摘要
注意力是提升深度模型能力的有效机制。Squeeze-and-Excite（SE）引入了一个轻量级注意力分支以增强网络的表征能力。该注意力分支使用 Sigmoid 函数门控，并与特征图的主干分支相乘。其在协调与平衡主干和注意力分支的贡献上过于敏感。为控制注意力分支的影响，我们提出一种称为 Shift-and-Balance（SB）的新注意力方法。不同于 Squeeze-and-Excite，该注意力分支由学习的控制因子调节以控制平衡，随后加至特征图的主干分支。实验表明，当应用于更多层时，移位与平衡注意力相较于 Squeeze-and-Excite 显著提升了精度，并增加了网络的规模与容量。此外，移位与平衡注意力取得了优于或接近最先进的动态卷积的精度。
引用
@article{arxiv.2103.13080,
title = {Shift-and-Balance Attention},
author = {Chunjie Luo and Jianfeng Zhan and Tianshu Hao and Lei Wang and Wanling Gao},
journal= {arXiv preprint arXiv:2103.13080},
year = {2021}
}