使用Batch Bridgeout剪枝卷积滤波器

最先进的计算机视觉模型的容量正在迅速增长，其中参数数量远超拟合训练集所需的数量。这带来了更好的优化和泛化性能。然而，当代模型的巨大规模导致了高昂的推理成本，并限制了它们在资源受限设备上的使用。为了降低推理成本，可以剪枝训练好的神经网络中的卷积滤波器，以减少推理时的运行内存和计算需求。然而，如果训练算法导致稠密权重向量，严重的训练后剪枝会造成性能下降。我们提出使用Batch Bridgeout（一种诱导稀疏性的随机正则化方案）来训练神经网络，从而能够以最小性能下降高效剪枝。我们在CIFAR图像分类任务上针对常见的计算机视觉模型VGGNet、ResNet和Wide-ResNet评估了所提方法。对于所有网络，实验结果表明，与Dropout和权重衰减正则化相比，Batch Bridgeout训练的神经网络在广泛的剪枝强度范围内实现了更高的准确率。