考虑输入分辨率的ConvNets一次性预算剪枝框架
计算机视觉与模式识别
2020-12-03 v1
摘要
我们提出一种高效的一次性预算剪枝框架（OFARPruning），在训练早期阶段寻找接近winner tickets的多种紧凑网络结构，并在剪枝过程中考虑输入分辨率的影响。在结构搜索阶段，我们利用余弦相似度度量剪枝掩码的相似度，以低能耗与时间消耗获得高质量网络结构。结构搜索阶段之后，我们提出的方法随机采样具有不同剪枝率与输入分辨率的紧凑结构以实现联合优化。最终，我们可获得一组适应多种分辨率的紧凑网络，仅需一次训练即可满足不同边缘设备上动态的FLOPs约束。基于图像分类与目标检测的实验表明，OFARPruning比US-Net与MutualNet等一次性压缩方法精度更高（在更少FLOPs下高1-2%），并以高得多的效率达到与传统剪枝方法相同甚至更高的精度（在170 MFLOPs下MobileNetv2上为72.6%对70.5%）。
引用
@article{arxiv.2012.00996,
title = {An Once-for-All Budgeted Pruning Framework for ConvNets Considering Input Resolution},
author = {Wenyu Sun and Jian Cao and Pengtao Xu and Xiangcheng Liu and Pu Li},
journal= {arXiv preprint arXiv:2012.00996},
year = {2020}
}