基于潜变量边缘化的贝叶斯循环一致性生成对抗网络
机器学习
2020-08-18 v3 计算机视觉与模式识别
机器学习
摘要
近期基于生成对抗网络 (GANs) 的技术，如循环一致性 GANs，能够通过生成器与判别器之间的极小极大优化博弈，从非配对数据集中学习不同域之间的映射。然而，稳定训练过程仍然具有挑战性，因此循环模型在判别器成功的同时陷入模式崩溃。为解决该问题，我们提出了一种新颖的贝叶斯循环模型以及一个用于域间映射的集成循环框架。所提方法受 Bayesian GAN 启发，通过采样潜变量探索循环模型的完整后验，并利用最大后验 (MAP) 估计优化模型。因此，我们将其命名为 Bayesian CycleGAN。此外，原始 CycleGAN 无法生成多样化结果。但贝叶斯框架可通过在推断过程中替换受限潜变量来实现生成图像的多样化。我们在多个基准数据集上评估了所提 Bayesian CycleGAN，包括 Cityscapes、Maps 和 Monet2photo。所提方法在原始框架内将 Cityscapes 语义分割任务的逐像素准确率提升了 15%，在提出的集成框架内提升了 20%，显示出对不平衡对抗更好的鲁棒性。Monet2Photo 风格迁移的多样化结果也证明了其相对于原始循环模型的优越性。我们在 https://github.com/ranery/Bayesian-CycleGAN 提供了所有实验的代码。
引用
@article{arxiv.1811.07465,
title = {Bayesian Cycle-Consistent Generative Adversarial Networks via Marginalizing Latent Sampling},
author = {Haoran You and Yu Cheng and Tianheng Cheng and Chunliang Li and Pan Zhou},
journal= {arXiv preprint arXiv:1811.07465},
year = {2020}
}
备注
Accepted by IEEE TNNLS