通过多样性惩罚模块缓解 GAN 的模式崩溃
计算机视觉与模式识别
2021-09-14 v4
摘要
原始 GAN（Goodfellow 等，2014）深受模式崩溃困扰，通常表现为生成器生成的图像彼此间高度相似，即便其对应潜向量已截然不同。本文中，我们引入一个可插拔的多样性惩罚模块（DPM）以缓解 GAN 的模式崩溃。它在特征空间中降低图像对的相似性，即若两个潜向量不同，则强制生成器生成具有不同特征的两幅图像。我们使用归一化 Gram 矩阵度量相似性。我们在二维合成数据集上将所提方法与 Unrolled GAN（Metz 等，2016）、BourGAN（Xiao、Zhong 和 Zheng，2018）、PacGAN（Lin 等，2018）、VEEGAN（Srivastava 等，2017）和 ALI（Dumoulin 等，2016）比较，结果表明多样性惩罚模块可帮助 GAN 捕获数据分布的更多模式。进一步，在分类任务中，我们将此方法作为图像数据增强应用于 MNIST、Fashion-MNIST 和 CIFAR-10，分类测试准确率相较 WGAN GP（Gulrajani 等，2017）分别提升 0.24%、1.34% 和 0.52%。在域翻译中，多样性惩罚模块可帮助 StarGAN（Choi 等，2018）生成更精确的注意力掩码并加速收敛过程。最后，我们在 CelebA、CIFAR-10、MNIST 和 Fashion-MNIST 上用 IS 和 FID 定量评估所提方法，结果表明带多样性惩罚模块的 GAN 相较一些 SOTA GAN 架构取得更高 IS 与更低 FID。
引用
@article{arxiv.2108.02353,
title = {Alleviating Mode Collapse in GAN via Diversity Penalty Module},
author = {Sen Pei and Richard Yi Da Xu and Shiming Xiang and Gaofeng Meng},
journal= {arXiv preprint arXiv:2108.02353},
year = {2021}
}