开箱即用的通道剪枝网络
机器学习
2020-05-01 v1 计算机视觉与模式识别
机器学习
摘要
在过去十年中，卷积神经网络已变得极其庞大。预训练模型作为初始化器时，能够在小数据集上微调更大的网络。因此，这些微调模型所检测到的卷积特征并非全部都是终端任务所必需的。已有若干通道剪枝工作被提出，以从已训练好的模型中剪除计算和内存。通常，这些工作涉及决定从每一层移除哪些通道以及移除多少通道的策略，分别导致通道级和/或层级的剪枝配置文件。在本文中，我们进行了若干基线实验并确立：随机通道级剪枝策略的配置文件与基于度量的配置文件同样好。我们还确立：某些层级剪枝策略的配置文件可能明显优于常见基线。然后我们证明，使用穷举随机搜索在一个数据集上找到的顶级层级剪枝配置文件，对于其他数据集也位列顶级配置文件之中。这意味着我们可以使用基准数据集识别开箱即用的层级剪枝配置文件，并直接将其用于新数据集。此外，我们开发了一种强化学习(RL)基于策略的搜索算法，其直接目标是利用同一架构的多个模型寻找可迁移的层级剪枝配置文件。我们使用了一种新颖的奖励公式，驱动该RL搜索朝向预期压缩率同时最大化准确率。我们的结果表明，我们迁移的基于RL的配置文件与通过穷举搜索在原始数据集上找到的最佳配置文件相当或更好。然后我们证明，如果我们使用如Cifar10/100等中等规模数据集找到配置文件，我们能够将它们迁移到甚至如Imagenet等大规模数据集。
引用
@article{arxiv.2004.14584,
title = {Out-of-the-box channel pruned networks},
author = {Ragav Venkatesan and Gurumurthy Swaminathan and Xiong Zhou and Anna Luo},
journal= {arXiv preprint arXiv:2004.14584},
year = {2020}
}
备注
Under review at ECCV 2020