中文

TraVeLGAN:基于变换向量学习的图像到图像翻译

计算机视觉与模式识别 2019-02-27 v1

摘要

近年来,随着基于循环一致性假设的无监督模型取得成功,对图像到图像翻译的兴趣大幅增长。这些模型的成就仅限于该假设能产生良好结果的特定领域子集,即由风格或纹理差异表征的同质域。我们解决了图像到图像翻译中更具挑战性的问题,其中域由高级形状和上下文定义,并且包含显著的杂乱与异质性。为此,我们提出了一种新颖的 GAN,其基于在由孪生网络学习的潜在空间中保持域内向量变换。传统 GAN 系统引入了判别器网络以引导生成器在目标域中生成图像。我们向这一双网络系统添加了第三个网络:一个孪生网络,用于引导生成器使每张原始图像与其生成版本共享语义。借助这一新的三网络系统,我们不再需要用无处不在的循环一致性约束来限制生成器。因此,生成器可以学习在彼此差异巨大(不仅是风格或纹理)的更复杂域之间的映射。

关键词

引用

@article{arxiv.1902.09631,
  title  = {TraVeLGAN: Image-to-image Translation by Transformation Vector Learning},
  author = {Matthew Amodio and Smita Krishnaswamy},
  journal= {arXiv preprint arXiv:1902.09631},
  year   = {2019}
}