结构化剪枝即初始化时剪枝CNN所需之一切
计算机视觉与模式识别
2022-06-01 v2
摘要
剪枝是一种广泛用于减小卷积神经网络（CNN）模型规模与计算成本的技术。然而，常需缓慢的再训练或微调过程来恢复剪枝造成的精度损失。近期，权重剪枝的一个新研究方向——初始化时剪枝（PAI）被提出，旨在训练前直接剪枝CNN，从而避免微调或再训练。尽管PAI在减小模型规模上展现了前景，现有方法依赖细粒度权重剪枝，需要非结构化稀疏矩阵计算，除非稀疏度极高，否则难以在实践中获得真实加速。本工作首次表明，细粒度权重剪枝事实上对PAI并非必要。相反，逐层压缩比是决定初始化时剪枝CNN模型精度的关键要素。基于这一关键观察，我们提出PreCropping，一种结构化的硬件高效模型压缩方案。PreCropping依据逐层压缩比在通道级别直接压缩模型。与权重剪枝相比，所提方案在存储与计算上均规整且稠密，且不牺牲精度。此外，由于PreCropping在初始化时压缩CNN，CNN的计算与内存成本在商品硬件上的训练与推理阶段均得以降低。我们在多个现代CNN架构（包括ResNet、ShuffleNet和MobileNet）上针对CIFAR-10与ImageNet实证展示了我们的方法。
引用
@article{arxiv.2203.02549,
title = {Structured Pruning is All You Need for Pruning CNNs at Initialization},
author = {Yaohui Cai and Weizhe Hua and Hongzheng Chen and G. Edward Suh and Christopher De Sa and Zhiru Zhang},
journal= {arXiv preprint arXiv:2203.02549},
year = {2022}
}