带补偿的剪枝：深度卷积神经网络的高效通道剪枝
计算机视觉与模式识别
2021-09-01 v1
摘要
通道剪枝是一种有前景的技术，用于压缩深度卷积神经网络（DCNN）的参数并加速推理。本文旨在解决通道剪枝长期存在的低效问题。大多数通道剪枝方法通过从剩余参数或随机初始化重新训练剪枝后的模型来恢复预测精度。这一重新训练过程严重依赖于计算资源、训练数据和人工干预（调整训练策略）的充足性。本文提出一种高效剪枝方法，以显著降低 DCNN 剪枝成本。我们方法的主要贡献包括：1）剪枝补偿，一种快速且数据高效的重新训练替代方案，用于最小化剪枝后特征重建损失；2）补偿感知剪枝（CaP），一种通过最小化信息损失来移除冗余或低权重通道的新颖剪枝算法；3）带步长约束的二值结构搜索，以最小化人工干预。在包括 CIFAR-10/100 和 ImageNet 的基准上，我们的方法在最先进的基于重新训练的剪枝方法中展现出有竞争力的剪枝性能，且更重要的是，将处理时间减少 95%、数据使用量减少 90%。
引用
@article{arxiv.2108.13728,
title = {Pruning with Compensation: Efficient Channel Pruning for Deep Convolutional Neural Networks},
author = {Zhouyang Xie and Yan Fu and Shengzhao Tian and Junlin Zhou and Duanbing Chen},
journal= {arXiv preprint arXiv:2108.13728},
year = {2021}
}