PPCD-GAN：面向大规模条件 GAN 压缩的渐进剪枝与类别感知蒸馏
计算机视觉与模式识别
2022-03-17 v1
摘要
我们通过探索大规模条件生成对抗网络（GANs）压缩这一新颖且具有挑战性的任务，推进神经网络压缩研究。为此，我们提出一种逐渐收缩的 GAN（PPCD-GAN），引入渐进剪枝残差块（PP-Res）与类别感知蒸馏。PP-Res 是传统残差块的扩展，其中每个卷积层后接一个可学习掩码层，以在训练过程中渐进剪除网络参数。另一方面，类别感知蒸馏通过指导性注意力图从训练良好的教师模型迁移大量知识，从而增强训练稳定性。我们以端到端方式在知名 GAN 架构上同时训练剪枝与蒸馏过程。训练后，所有冗余参数及掩码层均被丢弃，在保持性能的同时得到更轻量的网络。在 ImageNet 128x128 数据集上我们全面表明，PPCD-GAN 相较最先进方法最多减少 5.2 倍（81%）参数，同时保持更优性能。
引用
@article{arxiv.2203.08456,
title = {PPCD-GAN: Progressive Pruning and Class-Aware Distillation for Large-Scale Conditional GANs Compression},
author = {Duc Minh Vo and Akihiro Sugimoto and Hideki Nakayama},
journal= {arXiv preprint arXiv:2203.08456},
year = {2022}
}
备注
accepted at WACV 2022