从零开始剪枝
计算机视觉与模式识别
2019-09-30 v1
摘要
网络剪枝是一个重要的研究领域，旨在降低神经网络的计算成本。传统方法遵循一种固定范式：首先训练一个庞大且冗余的网络，然后确定哪些单元（例如通道）较不重要从而可以被移除。在本工作中，我们发现预训练一个过参数化模型对于获得目标剪枝结构并非必要。事实上，一个完全训练好的过参数化模型会缩小剪枝结构的搜索空间。我们通过实验表明，更多样化的剪枝结构可以直接从随机初始化的权重中剪枝得到，包括具有更优性能的潜在模型。因此，我们提出了一种新颖的网络剪枝流程，允许从零开始剪枝。在 CIFAR10 和 ImageNet 数据集上压缩分类模型的实验中，我们的方法不仅大幅降低了传统剪枝方法的预训练负担，还在相同计算预算下取得了相似甚至更高的准确率。我们的结果促使学界重新思考现有网络剪枝技术的有效性。
引用
@article{arxiv.1909.12579,
title = {Pruning from Scratch},
author = {Yulong Wang and Xiaolu Zhang and Lingxi Xie and Jun Zhou and Hang Su and Bo Zhang and Xiaolin Hu},
journal= {arXiv preprint arXiv:1909.12579},
year = {2019}
}
备注
12 pages, 9 figures