HRank：利用高秩特征图的滤波器剪枝
计算机视觉与模式识别
2020-03-18 v2
摘要
神经网络剪枝为在资源受限设备上部署深度神经网络提供了广阔前景。然而，由于缺少对非显著网络组件的理论指导，现有方法仍受困于训练低效与剪枝设计中的人工成本。本文中，我们提出一种通过探索特征图高秩（HRank）的新颖滤波器剪枝方法。我们的 HRank 受如下发现的启发：单个滤波器生成的多个特征图的平均秩总是相同的，无论 CNNs 接收的图像批次数多少。基于 HRank，我们开发了一种数学上可表述的方法来剪枝具有低秩特征图的滤波器。我们剪枝背后的原理是低秩特征图包含较少信息，因此剪枝结果易于被复现。此外，我们通过实验表明具有高秩特征图的权重包含更重要的信息，使得即便其中一部分未被更新，对模型性能也几乎无损害。在不引入任何额外约束的情况下，HRank 在 FLOPs 与参数量缩减方面相较最先进水平取得显著改进，且精度相近。例如，使用 ResNet-110，我们通过移除 59.2% 的参数实现了 58.2% 的 FLOPs 缩减，在 CIFAR-10 上 top-1 精度仅损失 0.14%。使用 Res-50，我们通过移除 36.7% 的参数实现了 43.8% 的 FLOPs 缩减，在 ImageNet 上 top-1 精度仅损失 1.17%。代码可在 https://github.com/lmbxmu/HRank 获取。
引用
@article{arxiv.2002.10179,
title = {HRank: Filter Pruning using High-Rank Feature Map},
author = {Mingbao Lin and Rongrong Ji and Yan Wang and Yichen Zhang and Baochang Zhang and Yonghong Tian and Ling Shao},
journal= {arXiv preprint arXiv:2002.10179},
year = {2020}
}