WeightMom：基于迭代动量的剪枝学习稀疏网络
机器学习
2022-08-15 v1 计算机视觉与模式识别
摘要
深度神经网络已广泛应用于多种任务并取得显著成功。然而，其因包含数百万参数而高度复杂，导致在具有低延迟要求的流水线中部署时出现问题。因此，更期望获得在推理时具有相同性能的轻量级神经网络。本工作中，我们提出一种基于权重的剪枝方法，其中权重根据其前几次迭代的动量逐步剪除。神经网络每一层基于其相对稀疏度及前几次迭代中权重的大小被赋予重要性值。我们在AlexNet、VGG16和ResNet50等网络及CIFAR-10和CIFAR-100等图像分类数据集上评估了我们的方法。我们发现结果在准确率和压缩比方面优于先前方法。我们的方法能够在两个数据集上以相同的精度下降获得15%的压缩率。
引用
@article{arxiv.2208.05970,
title = {WeightMom: Learning Sparse Networks using Iterative Momentum-based pruning},
author = {Elvis Johnson and Xiaochen Tang and Sriramacharyulu Samudrala},
journal= {arXiv preprint arXiv:2208.05970},
year = {2022}
}
备注
submitted to ICTAI 2022