面向代价约束通道剪枝的软掩码方法
计算机视觉与模式识别
2022-11-07 v1
摘要
结构化通道剪枝已被证明能在现代硬件上显著加速卷积神经网络（CNNs）的推理时间，且网络精度损失相对较小。近期工作在网络训练期间永久将这些通道置零，我们观察到这会显著损害最终精度，尤其是当被剪枝的网络比例增大时。我们提出面向代价约束通道剪枝的软掩码方法（SMCP），以允许被剪枝的通道自适应地返回网络，同时向目标代价约束进行剪枝。通过添加权重的软掩码重参数化以及从移除输入通道视角出发的通道剪枝，我们允许先前被剪枝通道的梯度更新以及这些通道后续返回网络的机会。随后我们将输入通道剪枝表述为一个全局资源分配问题。我们的方法在 ImageNet 分类和 PASCAL VOC 检测数据集上均优于先前的工作。
引用
@article{arxiv.2211.02206,
title = {Soft Masking for Cost-Constrained Channel Pruning},
author = {Ryan Humble and Maying Shen and Jorge Albericio Latorre and Eric Darve1 and Jose M. Alvarez},
journal= {arXiv preprint arXiv:2211.02206},
year = {2022}
}
备注
Accepted by ECCV 2022