可瘦身剪枝神经网络
计算机视觉与模式识别
2022-12-08 v1
摘要
可瘦身神经网络（S-Net）是一种新颖的网络，能够根据当前计算资源的可用性动态选择预定义比例的通道（子网络）之一。然而，由于难以对不同子网络同时进行优化，S-Net 上每个子网络的精度低于同等规模单独训练的网络的精度。本文提出可瘦身剪枝神经网络（SP-Net），其子网络结构通过剪枝学习得到，而非像 S-Net 那样采用每一层通道比例相同（宽度乘数）的结构；我们还提出了新的剪枝流程：多基准剪枝，以替代一次性或迭代式剪枝，从而实现高精度和大幅训练时间节省。我们还引入了可瘦身通道排序（scs）以达成与 S-Net 一样快的计算速度，以及零填充匹配（zpm）剪枝以更高效地对残差结构进行剪枝。SP-Net 可与任意通道剪枝方法结合，且不需要像 NAS 模型那样任何复杂处理或耗时的架构搜索。在 ImageNet 上，相较于 S-Net 同等 FLOPs 的各子网络，SP-Net 在 ResNet-50 上提升精度 1.2–1.5%，在 VGGNet 上提升 0.9–4.4%，在 MobileNetV1 上提升 1.3–2.7%，在 MobileNetV2 上提升 1.4–3.1%。此外，根据我们在 ImageNet 上的实验结果，我们的方法优于其他 SOTA 剪枝方法，并与多种 NAS 模型相当。代码见 https://github.com/hideakikuratsu/SP-Net。
引用
@article{arxiv.2212.03415,
title = {Slimmable Pruned Neural Networks},
author = {Hideaki Kuratsu and Atsuyoshi Nakamura},
journal= {arXiv preprint arXiv:2212.03415},
year = {2022}
}