CHEX：面向CNN模型压缩的通道探索
计算机视觉与模式识别
2022-03-30 v1
摘要
通道剪枝已被广泛认为是降低深度卷积神经网络计算与内存成本的有效技术。然而，传统剪枝方法存在局限：它们仅限于剪枝过程，且需要一个完全预训练的大型模型。此类局限可能导致次优的模型质量以及过高的内存与训练成本。在本文中，我们提出一种新颖的通道探索方法，称为CHEX，以纠正这些问题。与仅剪枝策略相反，我们提出在整个训练过程中反复剪枝并重新生长通道，从而降低过早剪掉重要通道的风险。更确切地：从层内角度看，我们通过著名的列子集选择（CSS）公式来解决通道剪枝问题。从层间角度看，我们的重新生长阶段开辟了一条路径，可在全局通道稀疏约束下跨所有层动态重新分配通道数量。此外，所有探索过程均在从零开始的单次训练中完成，无需预训练大型模型。实验结果表明，CHEX能有效降低多种CNN架构在各类计算机视觉任务上的FLOPs，包括图像分类、目标检测、实例分割和3D视觉。例如，我们在ImageNet数据集上压缩的ResNet-50模型仅用原始ResNet-50模型25%的FLOPs即达到76%的top1准确率，优于先前最先进的通道剪枝方法。检查点和代码见此处。
引用
@article{arxiv.2203.15794,
title = {CHEX: CHannel EXploration for CNN Model Compression},
author = {Zejiang Hou and Minghai Qin and Fei Sun and Xiaolong Ma and Kun Yuan and Yi Xu and Yen-Kuang Chen and Rong Jin and Yuan Xie and Sun-Yuan Kung},
journal= {arXiv preprint arXiv:2203.15794},
year = {2022}
}
备注
Accepted to CVPR 2022