SR-init：一种可解释的层剪枝方法
计算机视觉与模式识别
2023-03-20 v2
摘要
尽管深度神经网络（DNNs）已在诸多领域普及，但由于计算开销高，将最先进模型部署到资源受限设备仍具挑战。模型剪枝为上述挑战提供了可行方案。然而，现有剪枝准则的可解释性常被忽视。针对此问题，我们通过探索随机重初始化提出了一种新颖的层剪枝方法。我们的 SR-init 方法受如下发现的启发：不同层中由层参数随机重初始化引起的精度下降存在差异。基于此观察，我们提出一种层剪枝准则，即对随机重初始化不敏感（精度下降低）的层对模型贡献较小，可在可接受损失下被剪枝。随后，我们通过特征可视化实验验证了 SR-init 的可解释性。可视化解释表明 SR-init 在理论上可行，因此我们将其与最先进方法比较以进一步评估其实用性。在 CIFAR-10 和 CIFAR-100 上的 ResNet56 中，SR-init 实现了参数量的大幅削减（63.98% 和 37.71%），而 top-1 精度下降可忽略（-0.56% 和 0.8%）。在 ImageNet 上使用 ResNet50，我们通过移除 39.29% 的参数实现了 15.59% 的 FLOPs 削减，top-1 精度仅下降 0.6%。我们的代码见 https://github.com/huitang-zjut/SR-init。
引用
@article{arxiv.2303.07677,
title = {SR-init: An interpretable layer pruning method},
author = {Hui Tang and Yao Lu and Qi Xuan},
journal= {arXiv preprint arXiv:2303.07677},
year = {2023}
}