通过学习的全局排序实现高效模型压缩
计算机视觉与模式识别
2020-03-17 v2 机器学习
摘要
剪枝卷积滤波器已被证明在压缩ConvNets方面有效。已有的滤波器剪枝方法要求用户为所得架构指定目标模型复杂度(如模型大小或FLOP数)。然而,对于优化各类具身AI应用(如自主机器人、无人机及面向用户的应用)而言,确定目标模型复杂度颇为困难。首先,ConvNets的精度与速度均会影响应用性能。其次,若不通过推理评估ConvNets,应用性能难以评判。因此,以试错方式通过滤波器剪枝寻找精度与速度间的平衡点可能十分耗时。本文通过将模型压缩的目标改为生成一组具有不同精度与延迟权衡的ConvNets,而非生成一个针对某预定义延迟约束的ConvNet,朝提升该过程效率迈出第一步。为此,我们提出学习ConvNet不同层间滤波器的全局排序,并据此通过剪除排名靠后的滤波器得到一组具有不同精度/延迟权衡的ConvNet架构。我们提出的算法LeGR,在CIFAR-100数据集上针对七个具有不同精度/FLOPs配置的剪枝ResNet-56时,比已有工作快2至3倍,且性能相当或更优。此外,我们在ImageNet与Bird-200上以ResNet-50和MobileNetV2评估了LeGR以证明其有效性。代码见https://github.com/cmu-enyac/LeGR。
引用
@article{arxiv.1904.12368,
title = {Towards Efficient Model Compression via Learned Global Ranking},
author = {Ting-Wu Chin and Ruizhou Ding and Cha Zhang and Diana Marculescu},
journal= {arXiv preprint arXiv:1904.12368},
year = {2020}
}
备注
CVPR 2020 Oral