基于自监督的卷积神经网络剪枝
计算机视觉与模式识别
2020-01-13 v1 机器学习
神经与进化计算
摘要
无监督训练的卷积神经网络在性能上接近有监督预训练，但有时代价是参数量更大。从这些大型无监督卷积网络中提取保持性能的子网络，对于降低其计算强度尤为有意义。典型的剪枝方法在针对某任务训练时进行操作，同时试图保持剪枝后网络在同一任务上的性能。然而，在自监督特征学习中，训练目标对于表征向下游任务的迁移能力是不可知的。因此，保持该目标的性能并不能确保剪枝后的子网络在解决下游任务时仍然有效。在这项工作中，我们研究了主要为有监督学习开发的标准剪枝方法，用于无标签训练的网络（即自监督任务）。我们表明，有标签或无需标签获得的剪枝掩码在基于标签重新训练时达到可比的性能，表明剪枝在自监督与有监督学习中的运作方式相似。有趣的是，我们还发现剪枝保持了自监督子网络表征的迁移性能。
引用
@article{arxiv.2001.03554,
title = {Pruning Convolutional Neural Networks with Self-Supervision},
author = {Mathilde Caron and Ari Morcos and Piotr Bojanowski and Julien Mairal and Armand Joulin},
journal= {arXiv preprint arXiv:2001.03554},
year = {2020}
}