渐进式骨架化:在初始化时剔除网络中更多冗余
计算机视觉与模式识别
2021-03-22 v5 机器学习
摘要
近期研究表明,在初始化时对网络进行骨架化(剪枝参数)可在推理与训练时均带来稀疏性的所有实际益处,且仅轻微降低性能。然而,我们观察到超过一定稀疏度(约 )后,这些方法无法保持网络性能,且令我们惊讶的是,在许多情况下甚至比简单的随机剪枝更差。为此,我们提出一个目标,以寻找具有最大前瞻连接敏感度(FORCE)的骨架化网络,其中将剪枝网络在连接敏感度意义上的可训练性纳入考量。随后我们提出两种近似最大化该目标的过程:(1) 迭代 SNIP:允许在骨架化早期不重要的参数在后期变得重要;(2) FORCE:迭代过程,通过允许已剪枝参数在骨架化后期复活来实现探索。大量实验的实证分析表明,我们的方法在中等剪枝水平下提供至少与其他近期方法相当的性能,而在更高剪枝水平下提供显著改善的性能(可移除多达 参数同时保持网络可训练)。代码见 https://github.com/naver/force。
引用
@article{arxiv.2006.09081,
title = {Progressive Skeletonization: Trimming more fat from a network at initialization},
author = {Pau de Jorge and Amartya Sanyal and Harkirat S. Behl and Philip H. S. Torr and Gregory Rogez and Puneet K. Dokania},
journal= {arXiv preprint arXiv:2006.09081},
year = {2021}
}