利用知识蒸馏压缩生成对抗网络
机器学习
2019-02-04 v1 机器学习
摘要
生成对抗网络（GANs）已被用于域迁移、超分辨率和合成数据生成等多种机器学习任务中。最先进的 GAN 通常使用了数千万参数，这使得它们在移动设备等低 SWAP（尺寸、重量和功耗）硬件以及需要实时性能的应用中部署成本高昂。目前尚未发现任何用于减少 GAN 中参数数量的工作。因此，我们提出了一种利用知识蒸馏技术压缩 GAN 的方法，其中较小的“学生”GAN 学习模仿较大的“教师”GAN。我们表明，在 MNIST、CIFAR-10 和 Celeb-A 数据集上使用的蒸馏方法可以分别以 1669:1、58:1 和 87:1 的压缩比压缩教师 GAN，同时保持生成图像的质量。从我们的实验中，我们观察到 GAN 压缩存在一个定性极限。此外，我们观察到，在固定参数预算下，压缩后的 GAN 优于使用标准训练方法训练的 GAN。我们推测这部分归因于过参数化 GAN 的优化景观，其允许使用交替梯度下降进行高效训练。因此，训练一个过参数化的 GAN 再接我们提出的压缩方案，可提供具有少量参数的高质量生成模型。
引用
@article{arxiv.1902.00159,
title = {Compressing GANs using Knowledge Distillation},
author = {Angeline Aguinaldo and Ping-Yeh Chiang and Alex Gain and Ameya Patil and Kolten Pearson and Soheil Feizi},
journal= {arXiv preprint arXiv:1902.00159},
year = {2019}
}