QGAN：量化生成对抗网络
神经与进化计算
2019-01-25 v1 机器学习
摘要
生成对抗神经网络（GANs）巨大的计算和内存需求阻碍了其于智能手机等边缘设备上的实际部署。尽管在 CNN 的模型压缩方面取得了成功，神经网络量化方法尚未在 GAN 上得到研究，其主要面临量化算法有效性以及 GAN 模型训练不稳定性两方面的问题。在本文中，我们首先对应用现有成功方法量化 GAN 进行了广泛研究。我们的观察表明，由于模型权重中量化值的代表性不足，且生成器和判别器网络对量化方法表现出不同的敏感性，它们均无法生成具有合理质量的样本。受这些观察的启发，我们基于 EM 算法开发了一种用于 GAN 的新量化方法，命名为 QGAN。我们还提出了一种多精度算法，以帮助结合相应结果质量找到量化 GAN 模型的最优比特数。在 CIFAR-10 和 CelebA 上的实验表明，QGAN 可将 GAN 量化为甚至 1 比特或 2 比特表示，且结果质量可与原始模型相媲美。
引用
@article{arxiv.1901.08263,
title = {QGAN: Quantized Generative Adversarial Networks},
author = {Peiqi Wang and Dongsheng Wang and Yu Ji and Xinfeng Xie and Haoxuan Song and XuXin Liu and Yongqiang Lyu and Yuan Xie},
journal= {arXiv preprint arXiv:1901.08263},
year = {2019}
}