ThiNet：一种用于深度神经网络压缩的滤波器级剪枝方法
计算机视觉与模式识别
2017-07-21 v1
摘要
我们提出了一种高效且统一的框架，即 ThiNet，以在训练和推理阶段同时加速和压缩 CNN 模型。我们专注于滤波器级剪枝，即整个滤波器如果不够重要将被丢弃。我们的方法不改变原始网络结构，因此可以完美地被任何现成的深度学习库支持。我们将滤波器剪枝形式化为一个优化问题，并揭示我们需要基于从其下一层而非当前层计算的统计信息来剪枝滤波器，这使得 ThiNet 区别于现有方法。实验结果证明了该策略的有效性，其已推进了当前最优水平。我们还展示了 ThiNet 在 ILSVRC-12 基准上的性能。ThiNet 在 VGG-16 上实现了 3.31 的 FLOPs 缩减和 16.63 的压缩，且 top-5 准确率仅下降 0.52。在 ResNet-50 上的类似实验表明，即使是紧凑网络，ThiNet 也能减少一半以上的参数和 FLOPs，代价是大约 1 的 top-5 准确率下降。此外，原始 VGG-16 模型可被进一步剪枝为仅有 5.05MB 模型大小的极小模型，保持了 AlexNet 级别的准确率，但展现出更强的泛化能力。
引用
@article{arxiv.1707.06342,
title = {ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression},
author = {Jian-Hao Luo and Jianxin Wu and Weiyao Lin},
journal= {arXiv preprint arXiv:1707.06342},
year = {2017}
}
备注
To appear in ICCV 2017