渐进式通道收缩网络
计算机视觉与模式识别
2023-04-04 v1
摘要
当前，基于显著性的通道剪枝在网络压缩中不断取得突破。在实现中，显著性机制被用作通道显著性的度量以指导剪枝。因此，基于显著性的通道剪枝可在运行时动态调整通道宽度，提供了一种灵活的剪枝方案。然而，出现了两个问题：常需门控函数将特定显著性项截断为零，这破坏了前向传播的稳定性；动态架构在推理中带来更多索引开销，制约了推理速度。本文中，我们提出一种渐进式通道收缩（PCS）方法，在运行时压缩所选显著性项，而非粗略地将其近似为零。我们还提出一种运行收缩策略（Running Shrinking Policy），以提供测试静态的剪枝方案，降低滤波器索引的内存访问成本。我们在 ImageNet 和 CIFAR10 数据集上基于 ResNet 和 VGG 两种流行网络评估了我们的方法，并证明我们的 PCS 优于所有基线，在压缩-性能权衡上达到 SOTA。此外，我们观察到推理有显著且实用的加速。
引用
@article{arxiv.2304.00280,
title = {Progressive Channel-Shrinking Network},
author = {Jianhong Pan and Siyuan Yang and Lin Geng Foo and Qiuhong Ke and Hossein Rahmani and Zhipeng Fan and Jun Liu},
journal= {arXiv preprint arXiv:2304.00280},
year = {2023}
}