带反馈的动态模型剪枝
机器学习
2020-06-15 v1 机器学习
摘要
深度神经网络通常拥有数百万参数。这不仅由于高内存需求，也因推理时延迟增加，会阻碍其在低端设备上的部署。我们提出了一种新颖的模型压缩方法，可在无额外开销的情况下生成稀疏训练模型：通过允许（i）稀疏模式的动态分配，以及（ii）引入反馈信号以重新激活被过早剪枝的权重，我们在单次训练过程中即得到一个性能良好的稀疏模型（无需重训练，但重训练可进一步提升性能）。我们在 CIFAR-10 和 ImageNet 上评估了该方法，并显示所得稀疏模型可达到稠密模型的 SOTA 性能。此外，其性能超越了所有先前提出的剪枝方案所生成的模型。
引用
@article{arxiv.2006.07253,
title = {Dynamic Model Pruning with Feedback},
author = {Tao Lin and Sebastian U. Stich and Luis Barba and Daniil Dmitriev and Martin Jaggi},
journal= {arXiv preprint arXiv:2006.07253},
year = {2020}
}
备注
appearing at ICLR 2020