用于剪枝卷积神经网络的 1xN 模式
计算机视觉与模式识别
2022-10-18 v6 人工智能
摘要
尽管网络剪枝在降低卷积神经网络（CNNs）复杂度方面广受欢迎，如何同时保持模型精度并在通用 CPU 上实现显著加速仍是一个开放问题。本文提出一种新颖的 1xN 剪枝模式以打破该局限。具体而言，具有相同输入通道索引的连续 N 个输出核被分组为一个块，作为我们剪枝模式的基本剪枝粒度。我们的 1xN 模式剪枝掉这些被认为不重要的块。我们还提供了一套滤波器重排流程：先在输出通道维度重排权重矩阵以得到对精度提升更具影响的块，再对下一层在输入通道维度的权重进行类似重排以确保卷积运算正确。此外，1xN 剪枝后的输出计算可通过并行块级向量化操作实现，从而在通用 CPU 上获得显著加速。我们在 ILSVRC-2012 上通过实验验证了该剪枝模式的有效性。例如，在剪枝率 50%、N=4 时，我们的模式相较滤波器剪枝在 MobileNet-V2 的 top-1 精度上提升约 3.0%；同时在 Cortex-A7 CPU 上相较权重剪枝节省 56.04ms 推理时间。我们的项目发布于 https://github.com/lmbxmu/1xN。
引用
@article{arxiv.2105.14713,
title = {1xN Pattern for Pruning Convolutional Neural Networks},
author = {Mingbao Lin and Yuxin Zhang and Yuchao Li and Bohong Chen and Fei Chao and Mengdi Wang and Shen Li and Yonghong Tian and Rongrong Ji},
journal= {arXiv preprint arXiv:2105.14713},
year = {2022}
}
备注
Accepted by IEEE TPAMI, 2022