SBPF：基于敏感度的图像分类卷积神经网络剪枝框架
计算机视觉与模式识别
2022-08-10 v1 人工智能
摘要
剪枝技术被广泛应用于压缩图像分类中的卷积神经网络（CNNs）。然而，大多数剪枝方法需要一个训练良好的预训练模型来提供有用的支撑参数，如 C1 范数、BatchNorm 值和梯度信息，若预训练模型参数未良好优化，可能导致滤波器评估的不一致。因此，我们提出一种基于敏感度的方法，通过对原始模型施加额外损伤，从推理精度角度评估每一层的重要性。由于精度表现由跨所有层的参数分布而非单个参数决定，基于敏感度的方法对参数更新具有鲁棒性。即，我们能在未充分训练与充分训练的模型间获得相似的各卷积层重要性评估。对于 CIFAR-10 上的 VGG-16，即便原始模型仅训练 50 个 epoch，我们也能得到与模型充分训练时一致的层重要性评估。随后我们依据量化敏感度从各层按比例移除滤波器。我们的基于敏感度的剪枝框架在 VGG-16、定制的 Conv-4 和 ResNet-18 上分别结合 CIFAR-10、MNIST 和 CIFAR-100 得到了有效验证。
引用
@article{arxiv.2208.04588,
title = {SBPF: Sensitiveness Based Pruning Framework For Convolutional Neural Network On Image Classification},
author = {Yiheng Lu and Maoguo Gong and Wei Zhao and Kaiyuan Feng and Hao Li},
journal= {arXiv preprint arXiv:2208.04588},
year = {2022}
}