用线性滤波器集成修剪 CNN
机器学习
2020-03-04 v2 计算机视觉与模式识别
机器学习
摘要
尽管卷积神经网络（CNN）取得了令人鼓舞的结果，但其在资源受限设备上的应用仍是一大挑战；这主要源于 CNN 巨大的内存与计算需求。为克服网络规模带来的限制，我们使用剪枝来缩减网络规模并——隐式地——减少浮点运算（FLOPs）次数。与“常规”网络剪枝中基于较小范数意味着对其相关组件“较不重要”假设的滤波器范数方法不同，我们开发了一种新颖的滤波器重要性范数，其基于组件在网络架构中存在或移除所引起的经验损失变化。由于滤波器配置个体可能性过多，我们反复从这些架构组件中采样，并测量组件激活或禁用状态下系统性能。结果得到一组滤波器集成——滤波器掩码——及关联性能值。我们基于线性加性模型对滤波器排序，并移除最不重要的那些，以使网络精度下降最小。我们在全连接网络以及训练于 CIFAR-10 数据集的 ResNet 架构上评估了我们的方法。使用我们的剪枝方法，我们从 ResNet 中移除了 的参数和 的 FLOPs，而精度下降小于 。
引用
@article{arxiv.2001.08142,
title = {Pruning CNN's with linear filter ensembles},
author = {Csanád Sándor and Szabolcs Pável and Lehel Csató},
journal= {arXiv preprint arXiv:2001.08142},
year = {2020}
}
备注
accepted to ECAI2020