基于迭代激活的结构化剪枝

在边缘设备上部署复杂的深度学习模型具有挑战性，因为它们需要大量的计算和内存资源，而边缘设备的资源预算有限。为了解决这个问题，人们提出了大量的剪枝技术来压缩网络。基于彩票假说（Lottery Ticket Hypothesis, LTH）的最新进展表明，迭代模型剪枝往往能产生更小、更准确的模型。然而，LTH 研究侧重于非结构化剪枝，这种剪枝硬件效率低下，难以在硬件平台上加速。在本文中，我们在结构化剪枝的背景下研究迭代剪枝，因为结构化剪枝后的模型能很好地映射到商用硬件上。我们发现，直接迭代应用一种基于结构化权重的剪枝技术，即迭代 L1 范数剪枝（ILP），并不能产生准确的剪枝模型。为了解决这个问题，我们提出了两种基于激活的剪枝方法：迭代激活剪枝（Iterative Activation-based Pruning, IAP）和自适应迭代激活剪枝（Adaptive Iterative Activation-based Pruning, AIAP）。我们观察到，在仅有 1% 的精度损失下，IAP 和 AIAP 在 LeNet-5 上分别实现了 7.75 倍和 15.88 倍的压缩，在 ResNet-50 上分别实现了 1.25 倍和 1.71 倍的压缩，而 ILP 分别只实现了 4.77 倍和 1.13 倍的压缩。