通过动态通道传播在训练中学习剪枝
计算机视觉与模式识别
2020-07-06 v1 机器学习
机器学习
摘要
在本文中，我们提出了一种新颖的网络训练机制，称为“动态通道传播”，用于在训练期间对神经网络进行剪枝。具体来说，我们在每个卷积层中根据通道的重要性水平（定义为通道效用）挑选一组特定的通道参与训练时的前向传播。所有被选中通道的效用值会随着误差反向传播过程同步更新，并自适应地变化。此外，当训练结束时，保留高效用值的通道，而丢弃低效用值的通道。因此，我们提出的方案能够同时训练和剪枝神经网络。我们在各种代表性基准数据集和先进的卷积神经网络（CNN）架构（包括VGGNet和ResNet）上对我们新颖的训练方案进行了实证评估。实验结果验证了我们方法的优越性能和稳健有效性。
引用
@article{arxiv.2007.01486,
title = {Learning to Prune in Training via Dynamic Channel Propagation},
author = {Shibo Shen and Rongpeng Li and Zhifeng Zhao and Honggang Zhang and Yugeng Zhou},
journal= {arXiv preprint arXiv:2007.01486},
year = {2020}
}
备注
accepted by ICPR-2020