剪枝紧凑型卷积网络以实现高效推理
计算机视觉与模式识别
2023-01-12 v1 机器学习
摘要
神经网络剪枝常被用于大幅压缩过参数化网络，同时仅带来微小的泛化性能下降。然而，剪枝对为高效推理高度优化的网络的影响尚未受到同等程度的关注。在本文中，我们分析了计算机视觉中剪枝的效果，并研究了最先进的卷积网络，例如 FBNetV3 系列模型。我们表明，模型剪枝方法可用于进一步优化通过 NAS（神经架构搜索）训练的网路。由此产生的剪枝模型系列能够在相同计算量下持续获得优于现有 FBNetV3 模型的性能，从而在 ImageNet 基准上在计算复杂度和泛化性能之间权衡时提供最先进的结果。除更好的泛化性能外，我们还证明，在有限计算资源可用时，剪枝 FBNetV3 模型仅耗费全规模 NAS 所需 GPU 小时的一小部分。
引用
@article{arxiv.2301.04502,
title = {Pruning Compact ConvNets for Efficient Inference},
author = {Sayan Ghosh and Karthik Prasad and Xiaoliang Dai and Peizhao Zhang and Bichen Wu and Graham Cormode and Peter Vajda},
journal= {arXiv preprint arXiv:2301.04502},
year = {2023}
}