滤波器内条纹剪枝
计算机视觉与模式识别
2020-12-10 v3
摘要
剪枝已成为压缩和加速现代神经网络的一种非常强大且有效的技术。现有剪枝方法可分为两类：滤波器剪枝(FP)和权重剪枝(WP)。与WP相比，FP在硬件兼容性上占优，但在压缩比上逊色。为融合两种方法优势，我们提出对滤波器内的条纹进行剪枝。具体而言，我们将滤波器 视为 个条纹，即 滤波器 ，然后通过剪枝条纹而非整个滤波器，可实现比传统FP更细的粒度且对硬件友好。我们将该方法称为SWP（\emph{条纹级剪枝}）。SWP通过引入一种称为滤波器骨架(Filter Skeleton)的新颖可学习矩阵实现，其值反映每个滤波器的形状。由于近期一些工作表明剪枝后的架构比继承的重要权重更关键，我们认为单个滤波器的架构即形状也很重要。通过大量实验，我们证明SWP比先前基于FP的方法更有效，并在CIFAR-10和ImageNet数据集上以无明显精度下降取得SOTA剪枝比。代码见 https://github.com/fxmeng/Pruning-Filter-in-Filter
引用
@article{arxiv.2009.14410,
title = {Pruning Filter in Filter},
author = {Fanxu Meng and Hao Cheng and Ke Li and Huixiang Luo and Xiaowei Guo and Guangming Lu and Xing Sun},
journal= {arXiv preprint arXiv:2009.14410},
year = {2020}
}
备注
Accepted by NeurIPS2020