基于稀疏矩阵草图的幅度剪枝泛化界
机器学习
2023-06-27 v2
摘要
在本文中，我们推导了过参数化神经网络的幅度剪枝（Magnitude-Based pruning）泛化误差的一个新界。我们的工作建立在 Arora 等人 [2018] 的界之上，其中误差取决于一、剪枝引起的近似，以及二、剪枝后模型的参数数量，并改进了标准的基于范数的泛化界。使用我们新的基于幅度的压缩算法获得的剪枝估计以高概率接近未剪枝函数，从而改进了第一个准则。利用稀疏矩阵草图（Sparse Matrix Sketching），剪枝矩阵的空间可以在维度小得多的稠密矩阵空间中高效表示，从而降低了第二个准则。这导致了比许多最先进（state-of-the-art）方法更强的泛化界，从而为过参数化模型的剪枝与泛化误差界定算法开发开辟了新天地。除此之外，我们扩展了我们的结果，以获得迭代剪枝（Iterative Pruning）[Frankle and Carbin, 2018] 的泛化界。我们在 MNIST 和 CIFAR10 数据集上的 ReLU 激活前馈网络（Feed Forward Networks）上实证验证了这一新方法的有效性。
引用
@article{arxiv.2305.18789,
title = {Generalization Bounds for Magnitude-Based Pruning via Sparse Matrix Sketching},
author = {Etash Kumar Guha and Prasanjit Dubey and Xiaoming Huo},
journal= {arXiv preprint arXiv:2305.18789},
year = {2023}
}
备注
Added code for reproducibility; Minor changes