SUBP：面向 1xN 稀疏 CNN 多线程加速的软均匀块剪枝

卷积神经网络（CNNs）中稀疏性的研究已广泛展开，以在资源受限的环境中压缩和加速模型。通过约束沿输出通道的 N 个连续权重为分组非零，近期具有 1$\times$N 稀疏性的网络因其三个突出优势而广受欢迎：1）通过\emph{块稀疏行}矩阵节省大量存储空间。2）在高稀疏度下性能优异。3）在带有高级向量扩展的 CPU 上显著加速。近期工作需基于稠密预训练权重筛选并微调 1$\times$N 稀疏权重，导致了诸如训练代价与内存访问昂贵、模型质量次优，以及跨线程负载不均衡（输出通道间稀疏度不同）等问题。为克服这些问题，本文提出一种新颖的\emph{\textbf{S}oft \textbf{U}niform \textbf{B}lock \textbf{P}runing}（SUBP，软均匀块剪枝）方法，从零开始训练均匀的 1$\times$N 稀疏结构化网络。具体而言，我们的方法倾向于在整个训练过程中，基于块角度冗余与重要性采样，以均匀方式反复允许被剪枝的块重新生长到网络中。它不仅使模型更少依赖预训练、降低模型冗余与永久剪掉重要块的风险，还实现了均衡的负载。在经验上，在 ImageNet 上，跨多种 CNN 架构的综合实验表明，我们的 SUBP 持续优于现有的基于预训练模型或从零训练的 1$\times$N 及结构化稀疏方法。源代码与模型见 \url{https://github.com/JingyangXiang/SUBP}。