基于稳定性驱动的单周期结构化剪枝
计算机视觉与模式识别
2025-12-18 v2 人工智能
机器学习
摘要
现有的结构化剪枝方法通常依赖多阶段训练程序，导致高计算成本。而在初始化时进行剪枝旨在降低这种负担，但常常会导致性能下降。为此，我们提出一种高效的单周期结构化剪枝框架，将预训练、剪枝和微调集成到单个训练周期中，而不会牺牲准确性。关键思想是通过范数基准的组评价准则和结构稀疏正则化，在训练初期识别最佳子网络。我们引入一种新颖的剪枝指示器，通过测量连续训练周期内剪枝子网络之间的相似性来检测稳定的剪枝时刻。此外，组稀疏正则化加快了收敛速度，进一步减少了总体训练时间。在CIFAR-10、CIFAR-100和ImageNet数据集上使用VGG、ResNet和MobileNet架构进行的大量实验表明，所提方法在准确率方面达到最先进水平，同时在训练成本方面也是最有效率的结构化剪枝框架之一。代码已公开于https://github.com/ghimiredhikura/OCSPruner。
引用
@article{arxiv.2501.13439,
title = {One-Cycle Structured Pruning via Stability-Driven Subnetwork Search},
author = {Deepak Ghimire and Dayoung Kil and Seonghwan Jeong and Jaesik Park and Seong-heum Kim},
journal= {arXiv preprint arXiv:2501.13439},
year = {2025}
}
备注
12 pages, 6 figures