重新思考卷积层通道剪枝中“范数越小信息越少”的假设
机器学习
2018-02-06 v2
摘要
模型剪枝已成为一种有用的技术，可提高深度学习的计算效率，使其能够在资源受限场景中部署解决方案。相关工作中一种广泛使用的做法假设：在推理时，范数越小的参数或特征所起的信息作用越小。本文中，我们提出一种用于加速深度卷积神经网络（CNN）计算的通道剪枝技术，该技术并不关键依赖于这一假设。相反，它侧重于直接简化 CNN 的通道到通道计算图，而无需执行使 CNN 高维张量结构化稀疏这一计算困难且并非总是有用的任务。我们的方法分为两个阶段：首先采用端到端随机训练方法，最终迫使某些通道的输出为常数；然后通过在原神经网络中调整这些常数通道所影响层的偏置，从原神经网络中剪除这些常数通道，从而使得到的紧凑模型能够快速微调。我们的方法从优化角度看具有数学吸引力且易于复现。我们通过多个图像学习基准实验了我们的方法，并展示了其有趣之处与有竞争力的性能。
引用
@article{arxiv.1802.00124,
title = {Rethinking the Smaller-Norm-Less-Informative Assumption in Channel Pruning of Convolution Layers},
author = {Jianbo Ye and Xin Lu and Zhe Lin and James Z. Wang},
journal= {arXiv preprint arXiv:1802.00124},
year = {2018}
}
备注
accepted to ICLR 2018, 11 pages