深度神经网络中层自适应权重剪枝的高效联合优化
计算机视觉与模式识别
2023-08-25 v2
摘要
本文提出一种用于深度神经网络 (DNN) 的新颖层自适应权重剪枝方法，解决了在遵守目标剪枝率约束的同时优化输出失真最小化的挑战。我们的方法考虑所有层的集体影响来设计层自适应剪枝方案。我们发现并利用了多层上由权重剪枝引起的输出失真的一个非常重要的可加性性质。该性质使我们能将剪枝表述为组合优化问题，并通过动态规划高效求解。通过将问题分解为子问题，我们实现了线性时间复杂度，使优化算法快速且可在 CPU 上运行。我们在 ImageNet 与 CIFAR-10 数据集上的大量实验证明了我们的方法优于现有方法。在 CIFAR-10 上，我们的方法取得了显著改进，在 top-1 准确率上分别比其它方法高出 ResNet-32 达 1.0%、VGG-16 达 0.5%、DenseNet-121 达 0.7%。在 ImageNet 上，相较于其它方法，我们对 VGG-16 与 ResNet-50 分别实现了最高 4.7% 与 4.6% 更高的 top-1 准确率。这些结果凸显了我们通过层自适应权重剪枝提升 DNN 性能方法的有效性与实用性。代码将发布于 https://github.com/Akimoto-Cris/RD_VIT_PRUNE。
引用
@article{arxiv.2308.10438,
title = {Efficient Joint Optimization of Layer-Adaptive Weight Pruning in Deep Neural Networks},
author = {Kaixin Xu and Zhe Wang and Xue Geng and Jie Lin and Min Wu and Xiaoli Li and Weisi Lin},
journal= {arXiv preprint arXiv:2308.10438},
year = {2023}
}