代理拉格朗日松弛：一种免重训练的深度神经网络剪枝路径
神经与进化计算
2023-04-11 v1 人工智能
摘要
网络剪枝是一种广泛用于降低深度神经网络计算成本和模型大小的技术。然而，典型的三阶段流程显著增加了整体训练时间。在本文中，我们基于代理拉格朗日松弛（Surrogate Lagrangian Relaxation, SLR）开发了一种系统化的权重剪枝优化方法，该方法旨在克服由权重剪枝问题的离散性所带来的困难。我们证明，我们的方法确保了模型压缩问题的快速收敛，并且通过使用二次惩罚加速了 SLR 的收敛。与其他最先进的方法相比，SLR 在训练阶段获得的模型参数更接近于其最优值。我们在使用 CIFAR-10 和 ImageNet 的图像分类任务上，采用最先进的 MLP-Mixer、Swin Transformer，以及 VGG-16、ResNet-18、ResNet-50 和 ResNet-110、MobileNetV2 评估了我们的方法。我们还使用多种模型在 COCO、KITTI 基准和 TuSimple 车道检测数据集上评估了目标检测与分割任务。实验结果表明，我们基于 SLR 的权重剪枝优化方法在相同精度要求下比最先进的方法实现了更高的压缩率，并且在相同压缩率要求下也能达到更高的精度。在分类任务下，我们的 SLR 方法在两个数据集上均以 的速度更快收敛到所需精度。在目标检测与分割任务下，SLR 也以 的速度更快收敛到所需精度。此外，我们的 SLR 即使在硬剪枝阶段无需重训练也能实现高模型精度，从而将传统的三阶段剪枝缩减为两阶段过程。在重训练轮次预算有限的情况下，我们的方法能快速恢复模型的精度。
引用
@article{arxiv.2304.04120,
title = {Surrogate Lagrangian Relaxation: A Path To Retrain-free Deep Neural Network Pruning},
author = {Shanglin Zhou and Mikhail A. Bragin and Lynn Pepin and Deniz Gurevin and Fei Miao and Caiwen Ding},
journal= {arXiv preprint arXiv:2304.04120},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2012.10079