CATRO：基于类感知迹比优化的通道剪枝
机器学习
2023-03-31 v2 人工智能
计算机视觉与模式识别
摘要
深度卷积神经网络在许多应用场景中被证明存在过度设计，具有高的参数与计算冗余，越来越多的工作探索模型剪枝以获得轻量高效网络。然而，大多数现有剪枝方法由经验启发驱动，很少考虑通道的联合影响，导致性能无保证且次优。本文提出一种新颖的基于类感知迹比优化（CATRO）的通道剪枝方法，以减轻计算负担并加速模型推理。利用少量样本的类信息，CATRO 通过特征空间判别度量多通道的联合影响，并整合保留通道的逐层影响。通过将通道剪枝表述为子模集函数最大化问题，CATRO 通过两阶段贪心迭代优化过程高效求解。更重要的是，我们给出了 CATRO 收敛性及剪枝网络性能的理论依据。实验结果表明，与其他最先进通道剪枝算法相比，CATRO 在相似计算成本下取得更高精度，或在相似精度下取得更低计算成本。此外，由于其类感知特性，CATRO 适用于为各种分类子任务自适应剪枝高效网络，促进深度网络在真实应用中的便捷部署与使用。
引用
@article{arxiv.2110.10921,
title = {CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization},
author = {Wenzheng Hu and Zhengping Che and Ning Liu and Mingyang Li and Jian Tang and Changshui Zhang and Jianqiang Wang},
journal= {arXiv preprint arXiv:2110.10921},
year = {2023}
}
备注
Paper accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS)