关于迭代式神经网络剪枝、重初始化与掩码相似性
机器学习
2020-01-16 v1 机器学习
摘要
我们考察了近期在深度学习中记录的、受剪枝过程影响的基本现象。具体而言，我们分析了一组常见迭代剪枝技术所发现的剪枝模型在连接结构与学习动态上的差异，以解决可训练的、高稀疏度子网络的唯一性问题，以及它们对所选剪枝方法的依赖性。在卷积层中，我们记录了由基于幅度的非结构化剪枝与权重回绕共同作用而涌现的结构，其类似于结构化剪枝的效果。我们还给出了经验证据，表明权重稳定性可通过恰当的剪枝技术自动实现。
引用
@article{arxiv.2001.05050,
title = {On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks},
author = {Michela Paganini and Jessica Forde},
journal= {arXiv preprint arXiv:2001.05050},
year = {2020}
}
备注
8 pages, 8 figures, plus 5 appendices with additional figures and tables