DeepSquare：利用逐元素平方算子提升深度卷积神经网络的学习能力
计算机视觉与模式识别
2019-06-13 v1 机器学习
摘要
现代神经网络模块若能显著增强学习能力，通常会给原网络增加过多计算复杂度。本文追求非常高效的神经网络模块，能以可忽略的额外计算成本显著提升深度卷积神经网络的学习能力。我们从理论与实验两方面表明，逐元素平方算子有潜力增强神经网络的学习能力。随后，我们设计了四类带逐元素平方算子的轻量模块，分别命名为 Square-Pooling、Square-Softmin、Square-Excitation 和 Square-Encoding。我们将这四个轻量模块加入 Resnet18、Resnet50 和 ShuffleNetV2，以在 ImageNet 2012 数据集上取得更好性能。实验结果显示，我们的模块能为基准卷积神经网络模型带来显著的准确率提升。我们轻量模块的性能甚至可与许多复杂模块（如双线性池化、Squeeze-and-Excitation 和 Gather-Excite）相媲美。我们的高效模块尤其适用于移动端模型。例如，当配备单个 Square-Pooling 模块时，ShuffleNetV2-0.5x 在 ImageNet 2012 上的 top-1 分类准确率绝对提升了 1.45%，且无额外参数与可忽略的推理时间开销。
引用
@article{arxiv.1906.04979,
title = {DeepSquare: Boosting the Learning Power of Deep Convolutional Neural Networks with Elementwise Square Operators},
author = {Sheng Chen and Xu Wang and Chao Chen and Yifan Lu and Xijin Zhang and Linfu Wen},
journal= {arXiv preprint arXiv:1906.04979},
year = {2019}
}
备注
We has submitted this paper to a conference before March 22, 2019. We will improve this paper according to the received reviews. The code will be released if the paper is accepted for publication