通过几何中位数进行滤波器剪枝以加速深度卷积神经网络
计算机视觉与模式识别
2019-07-16 v3
摘要
先前的工作利用“范数更小-重要性更低”准则来剪枝卷积神经网络中范数值较小的滤波器。本文中,我们分析这一基于范数的准则,并指出其有效性依赖于两个不总被满足的要求:(1) 滤波器的范数偏离应较大;(2) 滤波器的最小范数应较小。为解决该问题,我们提出一种新颖的滤波器剪枝方法,即基于几何中位数的滤波器剪枝(FPGM),以不受这两个要求限制地压缩模型。与先前方法不同,FPGM 通过剪枝具有冗余的滤波器而非那些“相对不重要”的滤波器来压缩 CNN 模型。当应用于两个图像分类基准时,我们的方法验证了其有用性与优势。值得注意的是,在 CIFAR-10 上,FPGM 在 ResNet-110 上减少了超过 52% 的 FLOPs,甚至相对准确率提升 2.69%。此外,在 ILSVRC-2012 上,FPGM 在 ResNet-101 上减少了超过 42% 的 FLOPs 且无 top-5 准确率下降,这推进了最先进水平。代码已在 GitHub 公开:https://github.com/he-y/filter-pruning-geometric-median
引用
@article{arxiv.1811.00250,
title = {Filter Pruning via Geometric Median for Deep Convolutional Neural Networks Acceleration},
author = {Yang He and Ping Liu and Ziwei Wang and Zhilan Hu and Yi Yang},
journal= {arXiv preprint arXiv:1811.00250},
year = {2019}
}
备注
Accepted to CVPR 2019 (Oral)