用于图像到图像翻译的非对称GAN
计算机视觉与模式识别
2024-07-15 v2 机器学习
图像与视频处理
摘要
现有基于生成对抗网络(GANs)的无监督图像翻译模型可利用循环一致性损失学习从源域到目标域的映射。然而,这些方法总是采用对称网络架构来学习正向与反向循环。由于源域与目标域之间任务复杂度和循环输入差异的存在,双向前后循环翻译中的不平等显著,且两域间信息量不同。本文中,我们分析现有对称GAN在非对称翻译任务中的局限,并提出一种非对称GAN模型,其具有大小不等且参数共享策略不同的翻译生成器与重建生成器,以适应无监督与有监督图像翻译任务中的非对称需求。此外,现有方法的训练阶段普遍存在模型坍缩这一降低生成图像质量的共性问题,因此我们探索不同的优化损失以更好地训练非对称GAN,使图像翻译具有更高一致性与更好稳定性。在包含8个数据集的有监督与无监督生成任务上的大量实验表明,与现有GANs相比,非对称GAN取得了更优的模型容量与生成性能。据我们所知,我们首次在非监督与有监督图像翻译任务上研究了非对称GAN结构。
引用
@article{arxiv.1912.06931,
title = {Asymmetric GANs for Image-to-Image Translation},
author = {Hao Tang and Nicu Sebe},
journal= {arXiv preprint arXiv:1912.06931},
year = {2024}
}
备注
Added more information