通过神经再生增强剪枝可塑性实现稀疏训练
机器学习
2022-02-08 v4 计算机视觉与模式识别
摘要
彩票假说(LTH)与单发网络剪枝(SNIP)的工作目前引起了大量关注，分别涉及训练后剪枝(迭代幅度剪枝)与训练前剪枝(初始化时剪枝)。前者方法计算成本极高，后者通常受困于性能不足。相比之下，训练期间剪枝——一类同时具备训练/推理效率与可比性能且暂时较少被探索的剪枝方法——值得深入研究。为更好理解训练期间剪枝，我们从剪枝可塑性(被剪枝网络恢复原始性能的能力)的角度定量研究了整个训练过程中的剪枝效应。剪枝可塑性有助于解释文献中有关神经网络剪枝的其他若干经验观测。我们进一步发现，通过注入一种称为神经再生的脑启发机制，即再生与剪除数量相同的连接，可显著提升剪枝可塑性。我们设计了一种新颖的渐进幅度剪枝(GMP)方法，名为带零成本神经再生的渐进剪枝(GraNet)，推进了当前最优水平。或许最令人印象深刻的是，其稀疏到稀疏版本首次在 ImageNet 上以 ResNet-50 超越了多种稠密到稀疏方法，且未延长训练时间。我们在 https://github.com/Shiweiliuiiiiiii/GraNet 发布了所有代码。
引用
@article{arxiv.2106.10404,
title = {Sparse Training via Boosting Pruning Plasticity with Neuroregeneration},
author = {Shiwei Liu and Tianlong Chen and Xiaohan Chen and Zahra Atashgahi and Lu Yin and Huanyu Kou and Li Shen and Mykola Pechenizkiy and Zhangyang Wang and Decebal Constantin Mocanu},
journal= {arXiv preprint arXiv:2106.10404},
year = {2022}
}
备注
Published on the thirty-fifth Conference on Neural Information Processing Systems (NeurIPS 2021). Code can be found https://github.com/Shiweiliuiiiiiii/GraNet