多即是少：一种结构更复杂但推理复杂度更低的网络
计算机视觉与模式识别
2017-05-16 v2
摘要
本文提出一种新颖且通用的网络结构，旨在加速卷积神经网络的推理过程，该结构网络结构更复杂，但推理复杂度更低。其核心思想是为每个原始卷积层配备另一个低成本协作层（LCCL），并将这两个并行层的 ReLU 输出进行逐元素相乘，从而产生该层的输出。这种组合层潜在地比原始卷积层更具判别力，并且其推理速度更快，原因有二：1）LCCL 特征图中的零单元在逐元素相乘后仍为零，因此可以安全地跳过原始卷积层中相应高成本卷积的计算；2）若将 LCCL 实现为 1×1 卷积或仅使用一个所有通道共享的滤波器，其计算速度非常快。在 CIFAR-10、CIFAR-100 和 ILSCRC-2012 基准数据集上的大量实验表明，我们提出的网络结构平均可加速推理过程 32%，且性能下降可忽略不计。
引用
@article{arxiv.1703.08651,
title = {More is Less: A More Complicated Network with Less Inference Complexity},
author = {Xuanyi Dong and Junshi Huang and Yi Yang and Shuicheng Yan},
journal= {arXiv preprint arXiv:1703.08651},
year = {2017}
}
备注
This paper has been accepted by the IEEE CVPR 2017