关注迭代剪枝的快照：通过集成蒸馏改进模型压缩
计算机视觉与模式识别
2020-08-17 v3 机器学习
摘要
网络剪枝是降低深度神经网络繁重推理成本的最主要方法之一。现有方法常迭代剪枝网络以在不造成显著性能损失的情况下获得高压缩率。然而，我们认为用于重训练剪枝网络的常规方法（即使用小的固定学习率）是不充分的，因为它们完全忽略了迭代剪枝快照带来的益处。在本工作中，我们表明可由迭代剪枝的快照构建强集成，其取得有竞争力的性能且网络结构各异。此外，我们提出简单、通用且有效的流程，在剪枝过程中以大幅重启学习率生成强网络集成，并利用这些集成进行知识蒸馏以提升紧凑模型的预测能力。在 CIFAR 和 Tiny-Imagenet 等标准图像分类基准上，我们通过将简单的 l1 范数滤波器剪枝集成到我们的流程中，推进了结构化剪枝的最先进剪枝率。具体而言，我们减少了众多 ResNet 架构变体 75-80% 的总参数量和 65-70% 的 MACs，同时具有与原始网络相当或更好的性能。本文相关代码已公开于 https://github.com/lehduong/kesi。
引用
@article{arxiv.2006.11487,
title = {Paying more attention to snapshots of Iterative Pruning: Improving Model Compression via Ensemble Distillation},
author = {Duong H. Le and Trung-Nhan Vo and Nam Thoai},
journal= {arXiv preprint arXiv:2006.11487},
year = {2020}
}
备注
BMVC 2020 - Camera ready