随机剪枝神经网络的神经正切核分析
机器学习
2023-03-21 v3
摘要
受理论与实践的双重驱动，我们研究权重的随机剪枝如何影响神经网络的神经正切核（NTK）。具体而言，本工作建立了全连接神经网络与其随机剪枝版本之间 NTK 的等价性。该等价性在两种情形下建立。第一个主要结果研究无限宽度渐近。表明给定剪枝概率，对于初始化时权重被随机剪枝的全连接神经网络，当各层宽度依次趋于无穷时，剪枝后神经网络的 NTK 收敛于原始网络的极限 NTK，并带有额外缩放。若网络权重在剪枝后被适当重缩放，该额外缩放可被消除。第二个主要结果考虑有限宽度情形。表明为确保 NTK 接近极限，宽度对稀疏度参数的依赖渐近线性，当 NTK 与其极限的差距趋于零时。此外，若剪枝概率设为零（即不剪枝），所需宽度的界与先前工作中全连接神经网络的界仅相差对数因子。该结果的证明需要发展一种我们称之为掩码诱导伪网络的网络结构的新分析。我们提供了实验来评估我们的结果。
引用
@article{arxiv.2203.14328,
title = {On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks},
author = {Hongru Yang and Zhangyang Wang},
journal= {arXiv preprint arXiv:2203.14328},
year = {2023}
}
备注
Upload the AISTATS camera-ready version