衰减剪枝方法：具有自纠正过程的平滑剪枝
机器学习
2024-11-05 v2 计算机视觉与模式识别
摘要
当前的结构化剪枝方法常常由于网络突变和剪枝结构的信息丢失而导致显著的精度下降。为了解决这些问题，我们引入了衰减剪枝方法，一种具有自纠正机制的新型平滑剪枝方法。DPM包含两个关键组成部分：(i) 平滑剪枝：它将传统的单步剪枝转换为多步平滑剪枝，在持续优化过程中逐步将冗余结构减少到零，共N步。(ii) 自纠正：该过程通过基于梯度信息纠正次优剪枝来进一步增强上述过程。我们的方法表现出很强的泛化能力，并且可以轻松地与各种现有剪枝方法集成。我们通过将DPM与三种流行的剪枝方法（OTOv2、Depgraph和Gate Decorator）集成来验证其有效性。实验结果表明，与原始剪枝方法相比，性能持续提升，并且在大多数情况下进一步减少了FLOPs。
引用
@article{arxiv.2406.03879,
title = {Decay Pruning Method: Smooth Pruning With a Self-Rectifying Procedure},
author = {Minghao Yang and Linlin Gao and Pengyuan Li and Wenbo Li and Yihong Dong and Zhiying Cui},
journal= {arXiv preprint arXiv:2406.03879},
year = {2024}
}