面向多任务CNN的全局通道剪枝性能感知近似方法
计算机视觉与模式识别
2023-03-22 v1
摘要
全局通道剪枝（GCP）旨在从不同层中移除深度模型的一部分通道（滤波器）而不损害性能。先前工作要么聚焦于单任务模型剪枝，要么简单地将其适配到多任务场景，在处理多任务剪枝时仍面临以下问题：1）由于任务不匹配，针对分类任务良好剪枝的主干网络侧重于保留能提取类别敏感信息的滤波器，导致对其他任务可能有用的滤波器在主干剪枝阶段被剪除；2）对于多任务预测，层内与层间不同滤波器比单任务预测时关联更紧密、交互更强，使多任务剪枝更困难。因此，针对多任务模型压缩，我们提出性能感知全局通道剪枝（PAGCP）框架。我们首先从理论上给出通过考虑层内与层间滤波器联合显著性来实现优异GCP的目标。随后提出顺序贪婪剪枝策略优化该目标，其中开发了性能感知预言准则以评估滤波器对各任务的敏感度并保留全局最任务相关的滤波器。在多个多任务数据集上的实验表明，所提PAGCP可将FLOPs与参数量减少逾60%且性能下降微小，并在云端与移动端平台实现1.2x3.3x加速。
引用
@article{arxiv.2303.11923,
title = {Performance-aware Approximation of Global Channel Pruning for Multitask CNNs},
author = {Hancheng Ye and Bo Zhang and Tao Chen and Jiayuan Fan and Bin Wang},
journal= {arXiv preprint arXiv:2303.11923},
year = {2023}
}
备注
Accepted for publication in T-PAMI, our code is available at http://www.github.com/HankYe/PAGCP.git