面向资源受限卷积神经网络的层补偿剪枝
计算机视觉与模式识别
2018-10-19 v2 机器学习
摘要
资源高效的卷积神经网络不仅使边缘设备上的智能成为可能，也带来了系统级优化（如调度）的机遇。本文中，我们旨在通过将两个常被考虑的子问题——即（i）每层剪除多少滤波器，以及（ii）在给定逐层剪枝预算下剪除哪些滤波器——合并为一个全局滤波器排序问题，来提升资源受限滤波器剪枝的性能。我们的框架提出了一种新颖算法，称为层补偿剪枝（layer-compensated pruning），其中引入元学习以确定更优解。我们通过实验证明，所提算法在有效性与效率上均优于先前方法。具体而言，我们将剪枝网络与原网络间的精度差距从 0.9% 降至 0.7%，同时将元学习所需时间减少 8 倍，即从 1 小时降至 7 分钟。为此，我们在 CIFAR-10、ImageNet 与 Bird-200 数据集上，使用 ResNet 与 MobileNetV2 网络验证了算法的有效性。
引用
@article{arxiv.1810.00518,
title = {Layer-compensated Pruning for Resource-constrained Convolutional Neural Networks},
author = {Ting-Wu Chin and Cha Zhang and Diana Marculescu},
journal= {arXiv preprint arXiv:1810.00518},
year = {2018}
}
备注
11 pages, 8 figures, work in progress