通过结构冗余度降低审视通道剪枝——一项统计研究
计算机视觉与模式识别
2019-07-17 v3
摘要
大多数现有通道剪枝方法从低效性降低的角度表述剪枝任务，即迭代地对最不重要的滤波器排序并移除，或寻找剪枝后使某些重构误差最小的滤波器集合。在本文中，我们从统计建模的新角度研究通道剪枝。我们假设某一层的滤波器数量反映了该层的“冗余度”水平，从而从冗余度降低的方面表述剪枝问题。基于理论分析与实证研究，我们有一个重要发现：从高度冗余的层中随机剪枝滤波器，优于基于最先进排序准则跨所有层剪枝最不重要滤波器。这些结果增进了我们对剪枝的理解，并进一步印证了近期发现，即相较于继承的权重，剪枝后模型的结构在网络效率中起着关键作用。
引用
@article{arxiv.1905.06498,
title = {Investigating Channel Pruning through Structural Redundancy Reduction -- A Statistical Study},
author = {Chengcheng Li and Zi Wang and Dali Wang and Xiangyang Wang and Hairong Qi},
journal= {arXiv preprint arXiv:1905.06498},
year = {2019}
}
备注
2019 ICML Workshop, Joint Workshop on On-Device Machine Learning & Compact Deep Neural Network Representations (ODML-CDNNR)