流形正则化动态网络剪枝
计算机视觉与模式识别
2021-03-11 v1
摘要
神经网络剪枝是降低深度模型计算复杂度、从而使其能在资源受限设备上良好部署的重要方法。与常规方法相比，近期发展的动态剪枝方法针对每个输入实例确定冗余滤波器，实现了更高的加速比。现有多数方法独立地为每个实例发现有效子网络，未利用不同输入之间的关系。为最大限度挖掘给定网络架构中的冗余，本文提出一种新范式，通过将所有实例的流形信息嵌入剪枝网络空间来动态移除冗余滤波器（称为 ManiDP）。我们首先研究训练集中图像之间的识别复杂度与特征相似性。然后，在训练过程中将实例与剪枝子网络之间的流形关系对齐。所提方法在多个基准上得到验证，相比 SOTA 方法在准确率和计算成本上均表现更优。例如，在 ImageNet 上，我们的方法可减少 ResNet-34 的 55.3% FLOPs，而 top-1 准确率仅下降 0.57%。
引用
@article{arxiv.2103.05861,
title = {Manifold Regularized Dynamic Network Pruning},
author = {Yehui Tang and Yunhe Wang and Yixing Xu and Yiping Deng and Chao Xu and Dacheng Tao and Chang Xu},
journal= {arXiv preprint arXiv:2103.05861},
year = {2021}
}
备注
This paper is accepted by CVPR 2021. Key words: Filter pruning, Dynamic network, Network compression, Manifold regularization