单周期剪枝：在紧凑训练预算下剪枝卷积网络
计算机视觉与模式识别
2022-07-05 v3 人工智能
摘要
在神经网络中引入稀疏性是一种降低其复杂度同时保持性能几乎不受影响的的有效方法。大多数情况下，稀疏性是通过三阶段流程引入的：1) 将模型训练至收敛，2) 根据某种准则剪枝模型，3) 微调剪枝后的模型以恢复性能。后两步通常迭代执行，虽能取得合理结果，但也导致过程耗时且复杂。在我们的工作中，我们提议去掉流程的第一步，并将另外两步合并为单一的剪枝-训练周期，使模型在剪枝的同时联合学习最优权重。为此我们引入了一种名为单周期剪枝（One-Cycle Pruning）的新颖剪枝调度，它从训练开始一直剪枝到训练结束。采用此种调度不仅能得到性能更优的剪枝模型，还大幅降低了剪枝模型所需的训练预算。实验在多种架构（VGG-16 和 ResNet-18）与数据集（CIFAR-10、CIFAR-100 和 Caltech-101）上进行，并针对相对较高的稀疏度（去除 80%、90%、95% 的权重）。我们的结果表明，在固定训练预算下，单周期剪枝始终优于常用的剪枝调度，如一次性剪枝（One-Shot Pruning）、迭代剪枝（Iterative Pruning）和自动渐进剪枝（Automated Gradual Pruning）。
引用
@article{arxiv.2107.02086,
title = {One-Cycle Pruning: Pruning ConvNets Under a Tight Training Budget},
author = {Nathan Hubens and Matei Mancas and Bernard Gosselin and Marius Preda and Titus Zaharia},
journal= {arXiv preprint arXiv:2107.02086},
year = {2022}
}
备注
Accepted at Sparsity in Neural Networks (SNN 2021)