用于架构无关网络压缩的神经 epitome 搜索
计算机视觉与模式识别
2020-01-01 v3
摘要
近期的 WSNet [1] 是一种通过从紧凑集合中采样滤波器权重实现模型压缩的新方法，并已被证明对一维卷积神经网络（CNN）有效。然而，WSNet 的权重采样策略是手工设计且固定的，这可能严重限制所得 CNN 的表达能力并削弱其压缩能力。在本工作中，我们提出一种适用于一维与二维 CNN 且相较 WSNet 有显著性能提升的新型自动采样方法。具体而言，我们提出的自动采样方法端到端地学习采样规则，而非独立于网络架构设计。借助这种可微分的权重采样规则学习，来自紧凑集合的采样步长与通道选择被优化以在模型压缩率与性能间取得更好权衡。我们证明在相同压缩比下，我们的方法在一维卷积上以 6.5% 优于 WSNet。此外，在 ImageNet 上，我们的方法以 25% FLOPs 削减在分类准确率上超越 MobileNetV2 完整模型 1.47%。在与基线模型相同骨干架构下，我们的方法甚至优于某些基于神经架构搜索（NAS）的方法，如 AMC [2] 与 MNasNet [3]。
引用
@article{arxiv.1907.05642,
title = {Neural Epitome Search for Architecture-Agnostic Network Compression},
author = {Daquan Zhou and Xiaojie Jin and Qibin Hou and Kaixin Wang and Jianchao Yang and Jiashi Feng},
journal= {arXiv preprint arXiv:1907.05642},
year = {2020}
}