AutoPruner：一种用于高效深度模型推理的端到端可训练滤波器剪枝方法
计算机视觉与模式识别
2019-01-18 v3
摘要
通道剪枝是加速深度模型推理的一类重要方法。以往的滤波器剪枝算法将通道剪枝与模型微调视为两个独立的步骤。本文认为将二者结合为单一的端到端可训练系统可取得更好结果。我们提出一种高效的通道选择层，即 AutoPruner，以联合训练方式自动发现较不重要的滤波器。我们的 AutoPruner 将先前的激活响应作为输入，并生成用于剪枝的真值二值索引码。因此，训练后所有对应零索引值的滤波器均可被安全移除。我们经验性地证明，该通道选择层的梯度信息亦有助于整个模型的训练。通过逐步擦除若干弱滤波器，可防止模型精度过度下降。与以往最先进的剪枝算法(包括从头训练)相比，AutoPruner 取得了显著更优的性能。此外，消融实验表明所提出的新型小批量池化与二值化操作对滤波器剪枝的成功至关重要。
引用
@article{arxiv.1805.08941,
title = {AutoPruner: An End-to-End Trainable Filter Pruning Method for Efficient Deep Model Inference},
author = {Jian-Hao Luo and Jianxin Wu},
journal= {arXiv preprint arXiv:1805.08941},
year = {2019}
}