基于重力正则化的深度卷积神经网络结构化剪枝
计算机视觉与模式识别
2025-03-13 v1
摘要
结构化剪枝是加速深度卷积神经网络(DCNN)广泛采用的方法。然而，现有方法常常需要修改原始网络架构、涉及复杂实现且需要漫长的微调阶段。为此，我们提出了一种受物理学启发的方法，将重力概念融入 DCNN 训练阶段。在该方法中，重力直接与卷积滤波器和吸引滤波器的质量之积成正比，与它们之间的距离之平方成反比。我们将该力作用于卷积滤波器，要么吸引靠近吸引滤波器(经历较弱重力)的滤波器向非零权重靠拢，要么远离吸引滤波器(经历较强重力)的滤波器向零权重移动。结果是，经历较强重力的滤波器其权重被归零，可被移除；而经历较弱重力的滤波器保留显著权重，保存重要信息。该方法同时优化滤波器权重并排序其重要性，无需复杂实现或大量微调。我们在使用 CIFAR 数据集对流行 DCNN 架构进行验证，实现了与现有方法相当的成绩。
引用
@article{arxiv.2411.16901,
title = {Deep Convolutional Neural Networks Structured Pruning via Gravity Regularization},
author = {Abdesselam Ferdi},
journal= {arXiv preprint arXiv:2411.16901},
year = {2025}
}