面向深层神经网络的迭代成本高效修剪流程——ICE-Pruning
机器学习
2025-06-17 v2 计算机视觉与模式识别
机器学习
摘要
修剪是一种广泛用于压缩深度神经网络(DNN)的方法，通过移除DNN模型中不相关的参数来减小模型大小。然而，修剪参数会降低模型准确率，因此通常需要与微调结合使用，有时还需要其他操作如重置权重来恢复准确率。常见方法是反复修剪后再微调，在每一步中逐步增加要移除的模型参数数量。虽然实现 straightforward(简单直观)，但遵循此方法的修剪管道因需要反复微调而计算成本高昂。本文提出了ICE-Pruning，一种用于DNN的迭代修剪管道，通过降低整体微调成本来显著缩短修剪时间，同时保持与现有修剪管道相似的准确率。ICE-Pruning基于三个主要组件：i)一种自动机制，用于确定在哪些修剪步骤之后应该进行微调;ii)一种用于加快每个修剪步骤中微调速度的冻结策略;iii)一种定制的修剪感知学习率调度器，以进一步提高每个修剪步骤的准确率并减少整体时间消耗。我们还提出了一种高效的自动调优阶段，用于调整由三个组件引入的超参数(如冻结比例)。我们在多个DNN模型和数据集上对ICE-Pruning进行了评估，表明其可将修剪速度提高最高可达9.61倍。代码已公开于https://github.com/gicLAB/ICE-Pruning
引用
@article{arxiv.2505.07411,
title = {ICE-Pruning: An Iterative Cost-Efficient Pruning Pipeline for Deep Neural Networks},
author = {Wenhao Hu and Paul Henderson and José Cano},
journal= {arXiv preprint arXiv:2505.07411},
year = {2025}
}
备注
Accepted to International Joint Conference on Neural Networks (IJCNN) 2025