何时剪枝？一种早期结构化剪枝策略
计算机视觉与模式识别
2021-10-26 v1 机器学习
摘要
剪枝可实现网络内存占用与时间复杂度的显著下降。传统的训练后剪枝技术倾向于高效推理，却忽视了训练的重计算量。近期关于初始化时训练前剪枝的探索暗示可通过剪枝降低训练成本，但伴随明显的性能退化。我们试图结合两个方向的优势，提出一种在训练期间尽早剪枝而不损害性能的策略。与在初始化时剪枝不同，我们的方法利用初始稠密训练数个周期以快速引导架构，同时通过神经元重要性排序持续评估主导子网络。这揭示了结构趋于稳定的主导子网络，使得常规剪枝可被提前推入训练过程。为尽早实现，我们进一步引入早期剪枝指示器（EPI），其依赖子网络架构相似性，并在子网络架构稳定时快速触发剪枝。通过在ImageNet上的大量实验，我们表明EPI能够快捷追踪适于剪枝的早期训练周期，提供与否则需扫描各周期且耗费数量级更多算力的“神谕”网格搜索相同的效能。我们的方法相较最先进剪枝方法取得的top-1精度提升，将GPU训练成本降低，从而提供了训练期间网络剪枝的新效率-精度边界。
引用
@article{arxiv.2110.12007,
title = {When to Prune? A Policy towards Early Structural Pruning},
author = {Maying Shen and Pavlo Molchanov and Hongxu Yin and Jose M. Alvarez},
journal= {arXiv preprint arXiv:2110.12007},
year = {2021}
}