剥匿你的GAN：基于知识蒸馏的双方法提升GAN效率
计算机视觉与模式识别
2024-09-05 v2 图像与视频处理
摘要
本文提出了两种新方法，以压缩生成式对抗网络（GAN）以便在资源受限的环境中部署：分布匹配高效压缩（Distribution Matching for Efficient compression, DiME）和网络交互式压缩（Network Interactive Compression via Knowledge Exchange and Learning, NICKEL）。DiME采用基础模型作为嵌入核进行高效分布匹配，利用最大均值不等式（MMD）促进有效的知识蒸馏。同时，NICKEL采用交互式压缩方法，增强学生生成器与判别器之间的沟通，实现压缩过程的平衡与稳定。我们在StyleGAN2架构上使用FFHQ数据集进行全面评估，结果表明DiME与NICKEL方法分别在95.73%和98.92%的压缩率下，分别获得了FID分数为10.45和15.93的优异性能。值得注意的是，在压缩率达到99.69%的极端情况时，我们的方法仍能保持生成质量，显著超越了前沿性能。这些发现不仅显示了我们方法显著降低GAN计算需求的能力，也为在资源有限的环境中部署高质量GAN模型铺平了道路。我们的代码将很快公开。
引用
@article{arxiv.2405.11614,
title = {Nickel and Diming Your GAN: A Dual-Method Approach to Enhancing GAN Efficiency via Knowledge Distillation},
author = {Sangyeop Yeo and Yoojin Jang and Jaejun Yoo},
journal= {arXiv preprint arXiv:2405.11614},
year = {2024}
}