类判别卷积神经网络压缩
计算机视觉与模式识别
2021-10-22 v1
摘要
通过剪枝与蒸馏压缩卷积神经网络(CNNs)已受到学界日益增长的关注。尤其，设计基于类判别的方法颇为理想，因其与 CNNs 的训练目标无缝契合。本文提出类判别压缩(CDC)，在剪枝与蒸馏中均注入类判别以助益 CNNs 训练目的。我们首先研究一组判别函数对通道剪枝的有效性，其中通过直观推广将知名的单变量二分类统计量（如 Student's T-Test）纳入研究。随后提出一种新颖的层自适应分层剪枝方法，对浅层采用粗粒度类判别方案，对深层采用细粒度方案。该方法自然契合 CNNs 在浅层处理粗语义、在深层提取细概念的事实。此外，我们利用判别成分分析(DCA)在富含判别信息的子空间中蒸馏中间表示的知识的，从而增强学生模型隐藏层的线性可分性与分类精度。结合剪枝与蒸馏，CDC 在 CIFAR 与 ILSVRC 2012 上评估，一致优于当前最优结果。
引用
@article{arxiv.2110.10864,
title = {Class-Discriminative CNN Compression},
author = {Yuchen Liu and David Wentzlaff and S. Y. Kung},
journal= {arXiv preprint arXiv:2110.10864},
year = {2021}
}