基于激活密度的训练中能量高效剪枝

合适的重训练下的神经网络剪枝可得到参数量远少于原始网络且精度相当的网络。典型剪枝方法需要大型、充分训练的网络作为起点，从中执行耗时的迭代剪枝与重训练过程以恢复原始精度。我们提出一种新颖剪枝方法，在训练期间实时剪枝网络，减少达成高效压缩网络的总体训练时间。我们引入基于激活密度的分析以识别网络各层的最优相对尺寸或压缩比。我们的方法架构无关，可广泛用于多种系统。对于 CIFAR-10、CIFAR-100 和 TinyImageNet 上的 VGG-19 和 ResNet18，我们得到了极稀疏网络(最佳情况下参数减少达 $200 \times$，推理计算操作减少超 $60 \times$)，精度与基线网络相当。通过在训练中周期性减小网络规模，我们实现了短于先前提出剪枝方法的总训练时间。此外，以我们提出的方法在不同训练轮次训练压缩网络，相较于从头完全训练的基线网络，在近等同精度下实现了训练计算复杂度的可观降低($1.6\times$ 至 $3.2\times$)。