CHIP：基于通道独立性的紧凑神经网络剪枝
计算机视觉与模式识别
2022-04-05 v3 人工智能
机器学习
摘要
滤波器剪枝因其所能带来的实际加速而被广泛用于神经网络压缩。迄今为止，大多数现有滤波器剪枝工作通过利用通道内信息来探究滤波器的重要性。在本文中，从通道间视角出发，我们提出利用通道独立性（一种衡量不同特征图之间相关性的度量）来执行高效滤波器剪枝。独立性较弱的特征图被解释为包含较少有用信息（知识），因此其对应滤波器可在不影响模型容量的前提下被剪除。我们系统地研究了滤波器剪枝背景下通道独立性的量化度量、测量方案以及敏感性（可靠性）。我们在多个数据集上针对不同模型的评估结果展示了我们方法的优越性能。值得注意的是，在 CIFAR-10 数据集上，我们的方案相较基线 ResNet-56 和 ResNet-110 模型分别带来 和 的准确率提升，同时模型大小和 FLOPs 分别减少 和 （ResNet-56）以及 和 （ResNet-110）。在 ImageNet 数据集上，我们的方法相较基线 ResNet-50 模型可实现 和 的存储与计算缩减，且准确率提升 。代码见 https://github.com/Eclipsess/CHIP_NeurIPS2021。
引用
@article{arxiv.2110.13981,
title = {CHIP: CHannel Independence-based Pruning for Compact Neural Networks},
author = {Yang Sui and Miao Yin and Yi Xie and Huy Phan and Saman Zonouz and Bo Yuan},
journal= {arXiv preprint arXiv:2110.13981},
year = {2022}
}
备注
Accepted by NeurIPS 2021. Model Compression, Channel Pruning, Filter Pruning, Deep Learning