REPrune：基于代表选举的滤波器剪枝
计算机视觉与模式识别
2020-07-22 v3
摘要
尽管基于范数的滤波器剪枝方法被广泛接受，但“范数越小越不重要”的准则在决定剪枝滤波器时是否最优仍存疑问。尤其当我们只能保留原始滤波器的一小部分时，选择能够最佳代表全体滤波器而不论其范数值的滤波器更为关键。我们提出的新型剪枝方法“REPrune”通过聚类选择代表性滤波器来解决此问题。通过从相似滤波器簇中选出一个滤波器并避免选择相邻的大滤波器，REPrune 能以相似的精度实现更好的压缩率。我们的方法还能更快速地恢复精度，并在微调过程中需要更小的滤波器偏移。经验上，REPrune 在 CIFAR-10 的 ResNet-110 上减少超过 49% 的 FLOPs，且精度提升 0.53%。此外，REPrune 在 ImageNet 的 ResNet-18 上减少超过 41.8% 的 FLOPs，Top-1 验证损失降低 1.67%。
引用
@article{arxiv.2007.06932,
title = {REPrune: Filter Pruning via Representative Election},
author = {Mincheol Park and Woojeong Kim and Suhyun Kim},
journal= {arXiv preprint arXiv:2007.06932},
year = {2020}
}
备注
Under Review at ECCV 2020