批归一化告诉你哪个滤波器重要
计算机视觉与模式识别
2022-04-26 v2 人工智能
摘要
滤波器剪枝的目标是搜索并移除不重要的滤波器，以使卷积神经网络（CNNs）高效且不牺牲其性能。挑战在于找到有助于确定每个滤波器相对于神经网络最终输出的重要程度或相关性的信息。在本文中，我们分享了一个观察：预训练 CNNs 的批归一化（BN）参数可用于估计激活输出的特征分布，而无需处理训练数据。基于该观察，我们提出了一种简单而有效的滤波器剪枝方法，通过基于预训练 CNNs 的 BN 参数评估每个滤波器的重要性。在 CIFAR-10 与 ImageNet 上的实验结果表明，所提方法在剪枝网络的计算复杂度与参数数量降低和准确率下降的权衡上，无论是否微调均能取得优异性能。
引用
@article{arxiv.2112.01155,
title = {Batch Normalization Tells You Which Filter is Important},
author = {Junghun Oh and Heewon Kim and Sungyong Baik and Cheeun Hong and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2112.01155},
year = {2022}
}