UPSCALE：无约束通道剪枝
计算机视觉与模式识别
2023-07-19 v1
摘要
随着神经网络规模和复杂度增长，推理速度下降。为此，最有效的压缩技术之一——通道剪枝——从权重中移除通道。然而，对于模型的多分支段，通道移除可能在推理时引入内存拷贝。这些拷贝进而增加推理延迟——以至于剪枝后模型可能比未剪枝模型更慢。作为变通，剪枝器通常约束某些通道一起被剪枝。这完全消除了内存拷贝，但如我们所展示的，显著损害了精度。我们现在面临两难：移除约束但增加延迟，或添加约束但损害精度。对此，我们的洞见是在导出时重排通道，(1)通过减少内存拷贝降低延迟，(2)通过移除约束提升精度。利用此洞见，我们设计了通用算法UPSCALE以任意剪枝模式剪枝模型。通过从现有剪枝器移除约束，我们将训练后剪枝模型在ImageNet上的精度平均提升2.1点——惠及DenseNet(+16.9)、EfficientNetV2(+7.9)和ResNet(+6.2)。此外，通过重排通道，UPSCALE相较基线导出将推理速度提升高达2倍。
引用
@article{arxiv.2307.08771,
title = {UPSCALE: Unconstrained Channel Pruning},
author = {Alvin Wan and Hanxiang Hao and Kaushik Patnaik and Yueyang Xu and Omer Hadad and David Güera and Zhile Ren and Qi Shan},
journal= {arXiv preprint arXiv:2307.08771},
year = {2023}
}
备注
29 pages, 26 figures, accepted to ICML 2023