重新审视 GAN 压缩中的判别器：一种生成器-判别器协同压缩方案
计算机视觉与模式识别
2021-11-10 v2
摘要
近来，一系列算法被探索用于 GAN 压缩，旨在将 GAN 部署于资源受限的边缘设备时减少巨大的计算开销与内存占用。然而，现有大多数 GAN 压缩工作仅关注如何压缩生成器，而未能将判别器纳入考量。本工作中，我们重新审视判别器在 GAN 压缩中的作用，并设计了一种新颖的生成器-判别器协同压缩方案，称为 GCC。在 GCC 中，选择性激活判别器根据局部容量约束与全局协调约束自动选择并激活卷积通道，这有助于在对抗训练中与轻量生成器维持纳什均衡并避免模式崩溃。原始生成器与判别器亦从头优化，作为教师模型逐步精炼剪枝后的生成器与选择性激活判别器。我们设计了一种新颖的在线协同蒸馏方案，以充分利用教师生成器与判别器的中间特征进一步提升轻量生成器的性能。在多种基于 GAN 的生成任务上的大量实验证明了 GCC 的有效性与泛化性。其中，GCC 在图像翻译任务中减少了 80% 的计算成本，同时保持了可比的性能。我们的代码与模型见 https://github.com/SJLeo/GCC。
引用
@article{arxiv.2110.14439,
title = {Revisiting Discriminator in GAN Compression: A Generator-discriminator Cooperative Compression Scheme},
author = {Shaojie Li and Jie Wu and Xuefeng Xiao and Fei Chao and Xudong Mao and Rongrong Ji},
journal= {arXiv preprint arXiv:2110.14439},
year = {2021}
}
备注
Accepted by NeurIPS2021 (The 35th Conference on Neural Information Processing Systems)