在白盒中实施CNN通道剪枝
计算机视觉与模式识别
2022-01-31 v4
摘要
通道剪枝已被长期研究用于压缩CNN，其显著减少了整体计算量。先前工作在不可解释的方式下实施通道剪枝，倾向于降低最终分类误差却未能考虑各通道的内部影响。本文中，我们在白盒中实施通道剪枝。通过对不同通道激活的特征图进行深度可视化，我们观察到不同通道对图像分类中不同类别具有差异化的贡献。受此启发，我们选择保留对大多数类别有贡献的通道。具体而言，为建模每个通道对区分类别的贡献，我们为每通道开发了一个类级掩码，并针对输入图像类别以动态训练方式实现。基于学到的类级掩码，我们执行全局投票机制以移除类别区分能力较弱的通道。最后，进行微调过程以恢复剪枝后模型的性能。据我们所知，这是首次考虑CNN可解释性理论以指导通道剪枝。在代表性图像分类任务上的大量实验证明了我们的 White-Box 优于许多 SOTA 方法。例如，在 CIFAR-10 上，它针对 ResNet-110 减少了 65.23% 的 FLOPs 且准确率甚至提升 0.62%。在 ILSVRC-2012 上，White-Box 针对 ResNet-50 实现了 45.6% 的 FLOPs 削减且 top-1 准确率仅微小损失 0.83%。
引用
@article{arxiv.2104.11883,
title = {Carrying out CNN Channel Pruning in a White Box},
author = {Yuxin Zhang and Mingbao Lin and Chia-Wen Lin and Jie Chen and Feiyue Huang and Yongjian Wu and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2104.11883},
year = {2022}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (IEEE TNNLS)