Gator：基于门控的可定制神经网络通道剪枝
计算机视觉与模式识别
2022-06-02 v2
摘要
神经网络(NN)应用的兴起引发了对压缩的日益关注，其中特别关注不需要任何额外硬件的通道剪枝。大多数剪枝方法采用单层操作或全局方案来确定移除哪些通道，随后对网络进行微调。本文提出 Gator，一种通道剪枝方法，它临时添加可学习的门控机制以剪枝单个通道，并使用额外的辅助损失进行训练，旨在降低由于内存、（理论）加速（以 FLOPs 计）以及实际的、特定于硬件的加速所带来的计算成本。Gator 引入了一种新的 NN 层间依赖表述，与以往大多数方法不同，它支持剪枝非顺序部分，例如 ResNet 高速路上的层，甚至移除整个 ResNet 块。Gator 对 ImageNet 上训练的 ResNet-50 的剪枝产生了最先进的(SOTA)结果，例如 FLOPs 减少 50% 而 top-5 准确率仅下降 0.4%。此外，Gator 在 GPU 延迟方面优于先前的剪枝模型，运行速度快 1.4 倍。而且，在相似运行时间下，Gator 相比 MobileNetV2 和 SqueezeNet 取得了改进的 top-5 准确率结果。本工作的源代码可在 https://github.com/EliPassov/gator 获取。
引用
@article{arxiv.2205.15404,
title = {Gator: Customizable Channel Pruning of Neural Networks with Gating},
author = {Eli Passov and Eli David and Nathan S. Netanyahu},
journal= {arXiv preprint arXiv:2205.15404},
year = {2022}
}
备注
14 pages, 3 figures. The version that appeared in ICANN is an earlier version