基于残差连接与有限数据的神经网络剪枝
计算机视觉与模式识别
2020-04-28 v3
摘要
滤波器级剪枝是加速深度 CNN 模型推理速度的有效方法。尽管已提出众多剪枝算法，仍存在两个开放问题。第一个问题是如何剪枝残差连接。我们提出通过基于 KL 散度的准则剪枝残差连接内部及外部的通道。第二个问题是有限数据下的剪枝。我们观察到一个有趣现象：直接在小型数据集上剪枝通常劣于在大型数据集上剪枝或从头训练的小模型微调。知识蒸馏是弥补有限数据弱点的有效途径。然而，教师模型的 logits 可能有噪声。为避免标签噪声的影响，我们提出一种标签精炼方法来解决该问题。实验已证明我们的方法（CURL，利用残差连接与有限数据的压缩）的有效性。CURL 在 ImageNet 上显著优于先前最先进的方法。更重要的是，在小型数据集上剪枝时，CURL 取得了与微调预训练小模型相当或好得多的性能。
引用
@article{arxiv.1911.08114,
title = {Neural Network Pruning with Residual-Connections and Limited-Data},
author = {Jian-Hao Luo and Jianxin Wu},
journal= {arXiv preprint arXiv:1911.08114},
year = {2020}
}
备注
CVPR 2020 Oral