用于非配对图像到图像转换的非对称GAN
计算机视觉与模式识别
2019-12-30 v1
摘要
非配对图像到图像转换问题旨在利用非配对训练数据建模从一个域到另一个域的映射。当前如广受认可的Cycle GAN等工作，通过对称结构建模单射映射，为任意两域提供通用解。然而在两域复杂性不对称（即两域间信息量不同）的情况下，这些方法存在生成质量差、映射歧义与模型敏感等问题。为解决这些问题，我们提出非对称GAN（AsymGAN），通过引入辅助变量（aux）学习从信息贫乏域向信息丰富域迁移所需的额外信息，从而适应非对称域，并在以下方面改进了SOTA方法的性能。首先，aux更好地平衡了两域间的信息，有利于生成质量。其次，信息不平衡通常导致映射歧义，我们可通过调节aux建模一对多映射，且aux可控。第三，Cycle GAN的训练易使生成器对偶对小扰动与变化敏感，而我们的模型通过在训练中注入aux解耦了生成器间病态相关。我们在非对称情形、标签-照片任务以及Cityscapes和Helen数据集上从定性与定量两方面验证了所提方法的有效性，并展示了非对称图像转换的诸多应用。综上，我们的AsymGAN为非对称域中的非配对图像到图像转换提供了更优解。
引用
@article{arxiv.1912.11660,
title = {Asymmetric GAN for Unpaired Image-to-image Translation},
author = {Yu Li and Sheng Tang and Rui Zhang and Yongdong Zhang and Jintao Li and Shuicheng Yan},
journal= {arXiv preprint arXiv:1912.11660},
year = {2019}
}
备注
Accepted by IEEE Transactions on Image Processing (TIP) 2019