初始化剪枝的统一路径视角
机器学习
2021-01-27 v1
摘要
近期提出了若干在初始化时剪枝神经网络参数的方法，旨在减小模型规模与计算负担，同时最小化对其训练动态和泛化性能的影响。尽管这些方法均有一定合理动机，但关于这些剪枝方法对网络训练动态的影响及其相互间形式化关系，迄今鲜有严格分析。借助神经正切核(NTK)近期提供的理论近似，我们将若干流行的初始化剪枝方法统一于单一以路径为中心的框架下。我们引入路径核(Path Kernel)作为神经正切核分解中与数据无关的项，并展示路径核的全局结构可被高效计算。该路径核分解将架构效应与神经正切核内数据依赖效应分离，从而提供一种仅从架构预测网络收敛动态的手段。我们分析了此结构在多个初始化剪枝方法中无数据情况下近似网络训练与泛化性能的应用。观察到输入数据与路径的关系以及路径核与其自然范数的关系后，我们额外提出了SynFlow初始化剪枝算法的两种增强。
引用
@article{arxiv.2101.10552,
title = {A Unified Paths Perspective for Pruning at Initialization},
author = {Thomas Gebhart and Udit Saxena and Paul Schrater},
journal= {arXiv preprint arXiv:2101.10552},
year = {2021}
}
备注
13 pages, 3 figures