神经网络剪枝的统计力学分析
机器学习
2021-06-14 v3 机器学习
摘要
具有海量参数的深度学习架构常使用剪枝技术进行压缩，以确保部署期间推理的计算效率。尽管有众多经验进展，对不同剪枝方法有效性的理论理解仍然缺乏。我们在教师-学生框架的统计力学表述下考察不同剪枝技术，并推导其泛化误差（GE）界。已有研究表明，基于行列式点过程（DPP）的节点剪枝方法在真实数据集上测试时显著优于竞争方法。利用上述设定中的 GE 界，我们为其经验观测提供了理论保证。文献中另一一致发现是：在固定参数数量下，稀疏神经网络（边剪枝）比稠密神经网络（节点剪枝）泛化更好。我们使用理论设定证明该发现，并表明即便是基线随机边剪枝方法也优于 DPP 节点剪枝方法。我们还在真实数据集上对此进行了经验验证。
引用
@article{arxiv.2006.16617,
title = {Statistical Mechanical Analysis of Neural Network Pruning},
author = {Rupam Acharyya and Ankani Chattoraj and Boyu Zhang and Shouman Das and Daniel Stefankovic},
journal= {arXiv preprint arXiv:2006.16617},
year = {2021}
}
备注
Authors Ankani Chattoraj and Boyu Zhang made an equal contribution