利用非凸正则化改进网络瘦身

卷积神经网络（CNN）已发展为适用于从目标检测到语义分割各种计算机视觉任务的强大模型。然而，大多数最先进的 CNN 无法直接部署于智能手机和无人机等边缘设备，这些设备需在有限功耗与内存带宽下实现低延迟。一种流行且直接的 CNN 压缩方法是网络瘦身，其在训练期间通过批归一化层对通道关联的缩放因子施加 $\ell_1$ 正则化。网络瘦身由此识别可于推理时剪枝的不重要通道。本文中，我们提出以另一种非凸、诱导稀疏的罚项替代 $\ell_1$ 罚项，以产生更压缩和/或更准确的 CNN 架构。我们研究 $\ell_p (0 < p < 1)$、变换 $\ell_1$（T$\ell_1$）、极小极大凹罚项（MCP）和平滑截断绝对偏差（SCAD），因其在压缩感知和变量选择等稀疏优化问题中的近期成功与流行。我们在标准图像分类数据集上，于 VGG-19、DenseNet-40 和 ResNet-164 三种神经网络架构展示了带非凸罚项的网络瘦身的有效性。基于数值实验，T$\ell_1$ 在通道剪枝下保持模型精度，$\ell_{1/2, 3/4}$ 在重训练后给出比 $\ell_1$ 更优的压缩模型且精度相近，而 MCP 和 SCAD 在重训练后给出比 $\ell_1$ 压缩相近但更准的模型。带 T$\ell_1$ 正则化的网络瘦身在压缩 CNN 架构时，于内存存储方面也优于最新的网络瘦身贝叶斯改进，且在通道剪枝后保持模型精度。