SoloGAN：基于单一生成对抗网络的多域多模态非配对图像到图像翻译
计算机视觉与模式识别
2022-06-30 v3
摘要
尽管基于生成对抗网络（GANs）的图像到图像（I2I）翻译取得了显著进展，利用单一生成器-判别器对将一幅图像有效翻译为多个目标域中一组多样化图像仍具挑战。现有 I2I 翻译方法为不同域采用多个域特定内容编码器，其中每个域特定内容编码器仅使用来自同一域的图像训练。然而，我们认为内容（域不变）特征应从所有域的图像中学习。因此，现有方案的每个域特定内容编码器均无法高效提取域不变特征。为解决此问题，我们提出一种灵活且通用的 SoloGAN 模型，用于多域间非配对数据的高效多模态 I2I 翻译。与现有方法不同，SoloGAN 算法采用单一带额外辅助分类器的投影判别器，并为所有域共享编码器与生成器。因此，SoloGAN 可使用所有域的图像有效训练，从而高效提取域不变内容表示。在多种数据集上与若干对照方法及 SoloGAN 变体的定性与定量结果表明了该方法的优势，尤其对于具有极端形状变化或翻译后需保持复杂背景不变的困难 I2I 翻译数据集。此外，我们通过消融实验论证了 SoloGAN 中各组件的贡献。
引用
@article{arxiv.2008.01681,
title = {SoloGAN: Multi-domain Multimodal Unpaired Image-to-Image Translation via a Single Generative Adversarial Network},
author = {Shihua Huang and Cheng He and Ran Cheng},
journal= {arXiv preprint arXiv:2008.01681},
year = {2022}
}
备注
pages 14, 15 figures