深度神经网络剪枝的算子理论视角
机器学习
2022-03-15 v3 动力系统
摘要
能够媲美完整模型的稀疏子网络的发现已引起广泛的应用与理论关注。尽管为此开发了众多剪枝方法，但基于参数量级移除参数的朴素方法被发现与更复杂的最先进算法同样稳健。量级剪枝成功背后的理论（尤其是预收敛阶段）及其与其他剪枝方法（如基于梯度的剪枝）的关系，是该领域亟待解决的突出开放问题。我们利用动力系统理论的最新进展，即 Koopman 算子理论，定义一类理论驱动的剪枝算法。我们证明这些算法可等价于量级与基于梯度的剪枝，统一了这些看似迥异的方法，并发现它们可用于阐明量级剪枝在训练早期的表现。
引用
@article{arxiv.2110.14856,
title = {An Operator Theoretic View on Pruning Deep Neural Networks},
author = {William T. Redman and Maria Fonoberova and Ryan Mohr and Ioannis G. Kevrekidis and Igor Mezic},
journal= {arXiv preprint arXiv:2110.14856},
year = {2022}
}
备注
14 pages, 5 figures