初始化时的鲁棒剪枝
机器学习
2021-05-21 v5 计算机视觉与模式识别
机器学习
摘要
过参数化神经网络（NN）展现出最先进的性能。然而，随着在计算资源受限设备上使用机器学习应用的需求增长，对更小、更节能的神经网络的需求日益增加。一种流行的方法是使用剪枝技术。虽然这些技术传统上聚焦于对预训练神经网络进行剪枝（LeCun等，1990；Hassibi等，1993），但Lee等（2018）近期的工作表明在初始化时剪枝具有良好前景。然而，对于深度神经网络，此类方法仍不尽如人意，因为所得剪枝网络可能难以训练，例如无法避免某一层被完全剪枝。本文对基于幅值与梯度的初始化时剪枝及稀疏架构训练提供了全面的理论分析。基于此，我们提出了新颖的、有原则的方法，并在多种神经网络架构上进行了实验验证。
引用
@article{arxiv.2002.08797,
title = {Robust Pruning at Initialization},
author = {Soufiane Hayou and Jean-Francois Ton and Arnaud Doucet and Yee Whye Teh},
journal= {arXiv preprint arXiv:2002.08797},
year = {2021}
}
备注
37 pages, 12 figures