面向高效深度网络的数据不可知滤波器门控
计算机视觉与模式识别
2020-10-29 v1
摘要
为了在低端计算边缘设备上部署训练良好的 CNN 模型，通常需要在特定计算预算（如 FLOPs）下压缩或剪枝模型。当前滤波器剪枝方法主要利用特征图生成滤波器的重要性分数并剪枝分数较小者，这忽略了输入批次的差异导致滤波器稀疏结构的不同。本文提出一种数据不可知滤波器剪枝方法，使用名为 Dagger 模块的辅助网络诱导剪枝，并以预训练权重为输入学习每个滤波器的重要性。此外，为在给定 FLOPs 约束下剪枝滤波器，我们采用显式 FLOPs 感知正则化直接推动滤波器剪枝朝向目标 FLOPs。在 CIFAR-10 和 ImageNet 数据集上的大量实验结果表明我们优于其他最先进的滤波器剪枝方法。例如，我们 50\% FLOPs 的 ResNet-50 在 ImageNet 数据集上可达到 76.1\% 的 Top-1 准确率，超越许多其他滤波器剪枝方法。
引用
@article{arxiv.2010.15041,
title = {Data Agnostic Filter Gating for Efficient Deep Networks},
author = {Xiu Su and Shan You and Tao Huang and Hongyan Xu and Fei Wang and Chen Qian and Changshui Zhang and Chang Xu},
journal= {arXiv preprint arXiv:2010.15041},
year = {2020}
}