SNIP：基于连接敏感性的单次网络剪枝
计算机视觉与模式识别
2019-02-26 v2 机器学习
摘要
在保持性能的同时剪枝大型神经网络，常因降低空间与时间复杂度而备受青睐。现有方法在迭代优化过程中进行剪枝，采用启发式设计的剪枝计划或额外超参数，削弱了其实用性。本文提出一种新方法，在初始化时、训练前对给定网络进行一次剪枝。为此，我们引入基于连接敏感性的显著性准则，为给定任务识别网络中结构重要的连接。这消除了预训练与复杂剪枝计划的需求，同时使其对架构变化具有鲁棒性。剪枝后，稀疏网络以标准方式训练。我们的方法在 MNIST、CIFAR-10 和 Tiny-ImageNet 分类任务上获得极高稀疏度网络，其精度与参考网络几乎相同，并广泛适用于包括卷积、残差和循环网络在内的多种架构。与现有方法不同，我们的方法使我们能够证明保留的连接确实与给定任务相关。
引用
@article{arxiv.1810.02340,
title = {SNIP: Single-shot Network Pruning based on Connection Sensitivity},
author = {Namhoon Lee and Thalaiyasingam Ajanthan and Philip H. S. Torr},
journal= {arXiv preprint arXiv:1810.02340},
year = {2019}
}
备注
ICLR 2019