神经网络初始化时剪枝的近期进展
机器学习
2022-05-25 v3 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
神经网络剪枝通常从预训练收敛的模型中移除连接或神经元；而一种新的剪枝范式——初始化时剪枝（PaI）——试图对随机初始化的网络进行剪枝。本文提供了首个专注于这一新兴剪枝方式的综述。我们首先介绍神经网络剪枝的通用表述，随后介绍主要的经典剪枝主题。接着，作为本文的主体，我们对 PaI 方法进行了全面且结构化的文献回顾，包含两条主要路线（稀疏训练与稀疏选择）。最后，我们总结了 PaI 相较于 PaT 的兴起，并讨论了开放问题。除专门的文献回顾外，本文还提供了一个代码库，便于对不同 PaI 方法进行合理性检验与基准测试。
引用
@article{arxiv.2103.06460,
title = {Recent Advances on Neural Network Pruning at Initialization},
author = {Huan Wang and Can Qin and Yue Bai and Yulun Zhang and Yun Fu},
journal= {arXiv preprint arXiv:2103.06460},
year = {2022}
}
备注
Accepted in IJCAI'22 Survey Track. Code base: https://github.com/mingsun-tse/smile-pruning