用于神经网络结构化剪枝的静电力正则化
计算机视觉与模式识别
2024-11-19 v1
摘要
在资源受限的设备上部署深度卷积神经网络（DCNN）以用于实时应用的需求依然巨大。然而，现有的最先进结构化剪枝方法通常涉及复杂的实现，需要对原始网络架构进行修改，并且需要大量的微调阶段。为了克服这些挑战，我们提出了一种新方法，首次将物理学中的电荷和静电力概念引入DCNN的训练过程。该力的大小与卷积滤波器和源滤波器的电荷乘积成正比，与它们之间距离的平方成反比。我们将这种类静电力应用于卷积滤波器，要么将带有相反电荷的滤波器吸引至非零权重，要么将带有同种电荷的滤波器排斥至零权重。因此，受到排斥力的滤波器其权重被减小至零，从而能够被移除；而吸引力则保留了具有显著权重且保留信息的滤波器。与传统方法不同，我们的方法易于实现，不需要任何架构修改，并且同时优化权重和对滤波器重要性进行排序，而无需大量的微调。我们在MNIST、CIFAR和ImageNet数据集上使用现代DCNN架构验证了我们方法的有效性，与现有的结构化剪枝方法相比取得了具有竞争力的性能。
引用
@article{arxiv.2411.11079,
title = {Electrostatic Force Regularization for Neural Structured Pruning},
author = {Abdesselam Ferdi and Abdelmalik Taleb-Ahmed and Amir Nakib and Youcef Ferdi},
journal= {arXiv preprint arXiv:2411.11079},
year = {2024}
}