通过切换到具有优良属性的邻近 CNN 进行滤波器剪枝
计算机视觉与模式识别
2022-02-14 v2
摘要
滤波器剪枝能有效降低神经网络的计算开销。现有方法表明，更新先前剪枝的滤波器可带来更大的模型容量并取得更好性能。然而，在迭代剪枝过程中，即便网络权重被更新为新值，剪枝准则仍保持不变。此外，在评估滤波器重要性时，仅考虑了滤波器的幅值信息。然而在神经网络中，滤波器并非独立工作，而是会影响其他滤波器。因此，仅反映单个滤波器自身信息的各滤波器幅值信息不足以判断滤波器重要性。为解决上述问题，我们提出基于元属性的滤波器剪枝（MFP）。首先，为扩展现有基于幅值信息的剪枝准则，我们引入一组新准则以考虑滤波器的几何距离。另外，为显式评估网络当前状态，我们通过元属性（神经网络在当前状态下的一种性质）自适应地选择最适合的剪枝准则。在两个图像分类基准上的实验验证了我们的方法。在 ILSVRC-2012 上的 ResNet-50 中，我们能在仅损失 0.44% top-5 精度的情况下减少超过 50% 的 FLOPs。
引用
@article{arxiv.1904.03961,
title = {Filter Pruning by Switching to Neighboring CNNs with Good Attributes},
author = {Yang He and Ping Liu and Linchao Zhu and Yi Yang},
journal= {arXiv preprint arXiv:1904.03961},
year = {2022}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems