CGaP：面向高效深度学习的连续生长与剪枝
计算机视觉与模式识别
2019-05-30 v2 机器学习
摘要
当今降低深度神经网络（DNNs）计算成本的一种规范方法是：在训练前预定义一个过参数化模型以保证学习能力，然后在训练期间剪枝不重要的学习单元（滤波器和神经元）以提升模型紧凑性。我们认为，在训练之初引入冗余、却又为最终推理模型减少冗余是不必要的。本文提出连续生长与剪枝（Continuous Growth and Pruning, CGaP）方案，从一开始就最小化冗余。CGaP 从小型网络种子开始训练，随后通过强化重要学习单元来持续扩展模型，最终剪枝网络以获得紧凑而准确的模型。由于生长阶段偏好重要学习单元，CGaP 为剪枝阶段提供了明确的学习目标。在代表性数据集和 DNN 架构上的实验结果表明，CGaP 优于先前处理预定义结构的仅剪枝方法。对于 CIFAR-100 和 SVHN 数据集上的 VGG-19，CGaP 分别将参数量减少 78.9% 和 85.8%、FLOPs 减少 53.2% 和 74.2%；对于 CIFAR-10 上的 ResNet-110，CGaP 减少 64.0% 的参数量和 63.3% 的 FLOPs。
引用
@article{arxiv.1905.11533,
title = {CGaP: Continuous Growth and Pruning for Efficient Deep Learning},
author = {Xiaocong Du and Zheng Li and Yu Cao},
journal= {arXiv preprint arXiv:1905.11533},
year = {2019}
}