用于更好压缩 DNN 的保护性自适应剪枝
计算机视觉与模式识别
2023-03-22 v1 机器学习
摘要
自适应网络剪枝方法因其在识别层与滤波器的重要性及冗余性并定制合适剪枝方案方面的出色能力，近期受到显著关注。然而，由于当前自适应剪枝方法大多依赖额外监视器对层与滤波器重要性打分，面临高复杂度与弱可解释性，其表现仍不尽如人意。为解决这些问题，我们深入研究了迭代剪枝-训练过程中的权重重建过程，提出保护性自适应剪枝（PSAP）方法。首先，PSAP 可利用自身信息——权重稀疏率，在每步剪枝前自适应调整层的剪枝比例。此外，我们提出保护式重建机制，通过监督梯度防止重要滤波器被剪除，并避免不可恢复的信息损失。我们的 PSAP 简便且明确，因其仅依赖模型自身的权重与梯度，而不需如早期工作那样额外监视器。在 ImageNet 与 CIFAR-10 上的实验也证明，其在准确率与压缩比上均优于当前方法，尤其在高比例压缩或从零剪枝时。
引用
@article{arxiv.2303.11881,
title = {Protective Self-Adaptive Pruning to Better Compress DNNs},
author = {Liang Li and Pengfei Zhao},
journal= {arXiv preprint arXiv:2303.11881},
year = {2023}
}