从最大仿射样条视角洞察深度网络剪枝
机器学习
2025-03-04 v5 人工智能
摘要
在本文中，我们研究深度网络（DNs）中剪枝的重要性，以及（1）对从随机初始化训练得到的高度过参数化 DNs 进行剪枝与（2）对经“巧妙”初始化的小型 DNs 进行训练之间的阴阳关系。由于在多数情况下实践者只能求助于随机初始化，强烈需要建立对 DN 剪枝的 grounded 理解。现有文献在很大程度上仍是经验性的，缺乏关于剪枝如何影响 DNs 决策边界、如何解释剪枝以及如何设计相应原则性剪枝技术的理论理解。为应对这些问题，我们提议采用连续分段仿射（CPA）DNs 理论分析的最新进展。从这一视角，我们将能够检测早鸟（EB）票现象，对当前剪枝技术提供可解释性，并开发原则性剪枝策略。在我们研究的每一步，我们都进行了大量实验以支持我们的主张与结果；尽管我们的主要目标是增进当前对 DN 剪枝的理解而非开发新的剪枝方法，我们基于层间与全局剪枝的样条剪枝准则与最先进剪枝方法相当甚至更优。
引用
@article{arxiv.2101.02338,
title = {Max-Affine Spline Insights Into Deep Network Pruning},
author = {Haoran You and Randall Balestriero and Zhihan Lu and Yutong Kou and Huihong Shi and Shunyao Zhang and Shang Wu and Yingyan Celine Lin and Richard Baraniuk},
journal= {arXiv preprint arXiv:2101.02338},
year = {2025}
}
备注
Accepted by TMLR