平铺压缩激励：具有局部空间上下文的通道注意力
机器学习
2021-07-06 v1 机器学习
摘要
在本文中，我们研究了通道注意力所需的空间上下文量。为此，我们研究了流行的压缩激励(SE)块，这是一种简单且轻量的通道注意力机制。SE块及其众多变体通常使用全局平均池化(GAP)为每个通道创建单一描述符。在此，我们通过经验分析有效通道注意力所需的空间上下文量，发现仅约原始图像七行或七列的有限局部上下文就足以匹配全局上下文的性能。我们提出平铺压缩激励(TSE)，这是一种构建类SE块的框架，其每个通道采用多个描述符，且每个描述符仅基于局部上下文。我们进一步表明TSE可即插即用地替换SE块，并可用于现有SE网络而无需重新训练。这意味着局部上下文描述符彼此之间以及与全局上下文描述符之间均相似。最后，我们表明由于减少了流水线缓冲需求，TSE对SE网络部署到数据流AI加速器具有重要实际意义。例如，与SE相比，使用TSE将EfficientDetD2中的激活流水线缓冲减少了90%(从50M降至4.77M)且不损失精度。我们的代码和预训练模型将公开可用。
引用
@article{arxiv.2107.02145,
title = {Tiled Squeeze-and-Excite: Channel Attention With Local Spatial Context},
author = {Niv Vosco and Alon Shenkler and Mark Grobman},
journal= {arXiv preprint arXiv:2107.02145},
year = {2021}
}