为何初始化时剪枝对重新初始化与打乱具有免疫性？
机器学习
2021-07-06 v1 人工智能
摘要
近期评估神经网络剪枝方法有效性的研究揭示了一个令人惊讶的发现：在对现有初始化时剪枝方法（即SNIP、GraSP、SynFlow与幅度剪枝）进行消融实验时，若在每层内随机打乱掩码位置（逐层打乱）或采样新的初始权重值（重初始化）而保持剪枝掩码不变，这些方法的性能保持不变，有时甚至有所提升。我们试图通过研究随机化操作前后逐层的统计特性，来理解网络对权重/掩码修改具有此类免疫性的原因。我们发现，在每种初始化时剪枝方法下，未剪枝权重的分布因随机化操作而发生的改变极小。
引用
@article{arxiv.2107.01808,
title = {Why is Pruning at Initialization Immune to Reinitializing and Shuffling?},
author = {Sahib Singh and Rosanne Liu},
journal= {arXiv preprint arXiv:2107.01808},
year = {2021}
}
备注
6 pages, 2 figures