用于网络剪枝的滤波器草图法
计算机视觉与模式识别
2021-05-26 v4
摘要
我们提出了一种通过保留预训练网络权重（滤波器）信息来实现网络剪枝的新方法。基于信息保留的网络剪枝被表述为一个矩阵草图问题，并由现成的 Frequent Direction 方法高效求解。我们的方法称为 FilterSketch，它编码了预训练权重的二阶信息，使得剪枝后网络的表征能力能够通过简单的微调过程得以恢复。FilterSketch 既不需要从头训练，也不需要数据驱动的迭代优化，从而在剪枝优化中将时间成本降低了数个数量级。在 CIFAR-10 上的实验表明，对于 ResNet-110，FilterSketch 减少了 63.3% 的 FLOPs 并剪枝了 59.9% 的网络参数，且精度损失可忽略不计。在 ILSVRC-2012 上，对于 ResNet-50，它减少了 45.5% 的 FLOPs 并去除了 43.0% 的参数，精度仅下降 0.69%。我们的代码和剪枝模型可在 https://github.com/lmbxmu/FilterSketch 获取。
引用
@article{arxiv.2001.08514,
title = {Filter Sketch for Network Pruning},
author = {Mingbao Lin and Liujuan Cao and Shaojie Li and Qixiang Ye and Yonghong Tian and Jianzhuang Liu and Qi Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2001.08514},
year = {2021}
}
备注
Accepted by IEEE Transactions on Neural Networks and Learning Systems (IEEE TNNLS)