通过两阶段深度强化学习的深度模型压缩
机器学习
2021-07-05 v2 机器学习
摘要
除准确率外，卷积神经网络（CNN）模型的模型大小是实际应用中考虑硬件资源有限时的另一个重要因素。例如，在移动系统上部署深度神经网络需要设计准确且快速的CNN，以在分类和目标检测中实现低延迟。为满足该需求，我们旨在获得兼具高测试准确率和小型尺寸的CNN模型，以解决许多嵌入式设备中的资源约束。具体而言，本文聚焦于提出一种基于强化学习的通用模型压缩方法，采用两阶段压缩流程：剪枝与量化。第一阶段压缩即剪枝，通过利用深度强化学习（DRL）协同学习准确率以及经逐层通道剪枝和基于信息丢弃的逐元素变分剪枝后更新的FLOPs来实现。第二阶段即量化，通过类似的DRL方法实现，但侧重于获得各层的最优比特表示。我们进一步在CIFAR-10和ImageNet数据集上进行了实验。对于CIFAR-10数据集，所提方法可将VGGNet的大小从20.04MB降至2.2MB（压缩9倍），且准确率略有提升。对于ImageNet数据集，所提方法可将VGG-16的大小从138MB降至4.14MB（压缩33倍），且无准确率损失。
引用
@article{arxiv.1912.02254,
title = {Deep Model Compression Via Two-Stage Deep Reinforcement Learning},
author = {Huixin Zhan and Wei-Ming Lin and Yongcan Cao},
journal= {arXiv preprint arXiv:1912.02254},
year = {2021}
}
备注
To appear in ECML/PKDD 21