残差网络中的竞争性内成像压缩激励
计算机视觉与模式识别
2018-12-27 v4 人工智能
机器学习
摘要
残差网络通过残差单元补充恒等映射，使极深卷积架构得以良好运作，然而残差架构已被证明具有多样性与冗余性，可能导致低效建模。本工作中，我们提出一种面向残差网络的竞争性压缩-激励（SE）机制。该结构中各通道值的重标定将由残差与恒等映射共同决定，此设计使我们拓展了残差块中通道关系建模的含义。残差与恒等映射间竞争的建模使恒等流得以控制残差特征图对自身的补充。此外，我们设计了一种新颖的内成像竞争性 SE 块，以缩减开销并利用内成像机制对中间网络结构的全局特征进行重成像，借此我们可在空间上以卷积建模通道间关系。我们在 CIFAR、SVHN 与 ImageNet 数据集上实验，所提方法可挑战当前最优结果。
引用
@article{arxiv.1807.08920,
title = {Competitive Inner-Imaging Squeeze and Excitation for Residual Network},
author = {Yang Hu and Guihua Wen and Mingnan Luo and Dan Dai and Jiajiong Ma and Zhiwen Yu},
journal= {arXiv preprint arXiv:1807.08920},
year = {2018}
}
备注
Code is available at https://github.com/scut-aitcm/Competitive-Inner-Imaging-SENet