通过剪枝与冻结深度神经网络部分结构实现降维训练：一项综述
机器学习
2023-05-26 v2 计算机视觉与模式识别
机器学习
摘要
最先进的深度学习模型参数数量可达数十亿。训练、存储和迁移此类模型既耗能又耗时，因此成本高昂。这些成本的很大一部分是由训练网络引起的。模型压缩降低了存储和迁移成本，并且可以通过减少前向和/或后向传播中的计算量，进一步提高训练效率。因此，在训练时压缩网络同时保持高性能是一个重要的研究课题。本工作是一项关于在整个训练过程中减少深度学习模型中训练权重数量的方法的综述。所介绍的大多数方法将网络参数设为零，这称为剪枝。所呈现的剪枝方法分为初始化时剪枝、彩票假设和动态稀疏训练。此外，我们讨论了在随机初始化时冻结网络部分结构的方法。通过冻结权重，可训练参数的数量减少，从而减少了梯度计算和模型优化空间的维度。在这篇综述中，我们首先提出降维训练作为一个底层数学模型，涵盖了训练期间的剪枝和冻结。随后，我们介绍并讨论了不同的降维训练方法。
引用
@article{arxiv.2205.08099,
title = {Dimensionality Reduced Training by Pruning and Freezing Parts of a Deep Neural Network, a Survey},
author = {Paul Wimmer and Jens Mehnert and Alexandru Paul Condurache},
journal= {arXiv preprint arXiv:2205.08099},
year = {2023}
}
备注
This preprint has not undergone peer review or any post-submission improvements or corrections. The Version of Record of this article is published in Artificial Intelligence Review (2023), and is available online at https://doi.org/10.1007/s10462-023-10489-1