Sem-GAN：语义一致的图像到图像翻译
计算机视觉与模式识别
2018-07-13 v1
摘要
非配对图像到图像翻译是将源域中的图像映射到目标域中的图像，而不需要对应的图像对的问题。为了确保翻译后的图像在视觉上合理，近期的工作如 Cycle-GAN 要求该映射是可逆的。虽然这一要求在域为单模态时展现出有前景的结果，但其在多模态场景（如图像分割任务）中的表现是不可预测的。这是因为可逆性并不必然强制语义正确性。为此，我们提出了一种语义一致的 GAN 框架，称为 Sem-GAN，其中语义由源域中图像片段的类别身份定义，这些身份由语义分割算法产生。我们提出的框架包含对翻译任务的一致性约束，其与 GAN 损失和循环约束一起，强制图像在翻译后将继承目标域的外观，同时（近似）保持源域的身份。我们在多个图像到图像翻译任务上进行了实验，表明 Sem-GAN 显著提升了翻译图像的质量，在 FCN 分数上有时提升超过 20%。此外，我们表明使用通过 Sem-GAN 翻译的合成图像训练的语义分割模型，比其他变体带来显著更好的分割结果。
引用
@article{arxiv.1807.04409,
title = {Sem-GAN: Semantically-Consistent Image-to-Image Translation},
author = {Anoop Cherian and Alan Sullivan},
journal= {arXiv preprint arXiv:1807.04409},
year = {2018}
}