动态通道剪枝：特征增强与抑制
计算机视觉与模式识别
2019-01-29 v2
摘要
提升深度卷积神经网络的精度通常以增加计算与存储资源为代价。本文中，我们利用卷积层所计算特征的重要性高度依赖于输入这一事实来降低该代价，并提出特征增强与抑制（FBS），一种在运行时预测性放大显著卷积通道并跳过不重要通道的新方法。FBS 为现有卷积层引入小型辅助连接。与永久移除通道的通道剪枝方法不同，它保留完整网络结构，并通过动态跳过不重要的输入与输出通道来加速卷积。FBS 增强网络以常规随机梯度下降训练，使其易于用于许多最先进 CNN。我们将 FBS 与一系列现有通道剪枝与动态执行方案比较，并在 ImageNet 分类上展示大幅改进。实验表明，FBS 可分别在 VGG-16 与 ResNet-18 上提供 5× 与 2× 的计算节省，且 top-5 精度损失均小于 0.6%。
引用
@article{arxiv.1810.05331,
title = {Dynamic Channel Pruning: Feature Boosting and Suppression},
author = {Xitong Gao and Yiren Zhao and Łukasz Dudziak and Robert Mullins and Cheng-zhong Xu},
journal= {arXiv preprint arXiv:1810.05331},
year = {2019}
}
备注
14 pages, 5 figures, 4 tables, published as a conference paper at ICLR 2019