中文

使用循环一致对抗网络的非配对图像到图像翻译

计算机视觉与模式识别 2020-08-25 v7

摘要

图像到图像翻译是一类视觉与图形学问题,其目标是在配对图像对构成的训练集上学习输入图像与输出图像之间的映射。然而,对于许多任务而言,配对的训练数据是无法获取的。我们提出了一种在缺乏配对样本的情况下,学习将图像从源域 XX 翻译到目标域 YY 的方法。我们的目标是学习一个映射 G:XYG: X \rightarrow Y,使得利用对抗损失能够区分不开来自 G(X)G(X) 的图像分布与分布 YY。由于该映射高度欠约束,我们将其与逆映射 F:YXF: Y \rightarrow X 耦合,并引入循环一致性损失以促使 F(G(X))XF(G(X)) \approx X(反之亦然)。我们在若干不存在配对训练数据的任务上展示了定性结果,包括集合风格迁移、物体变形、季节迁移、照片增强等。与数种先前方法的定量比较证明了我们方法的优越性。

关键词

引用

@article{arxiv.1703.10593,
  title  = {Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks},
  author = {Jun-Yan Zhu and Taesung Park and Phillip Isola and Alexei A. Efros},
  journal= {arXiv preprint arXiv:1703.10593},
  year   = {2020}
}

备注

An extended version of our ICCV 2017 paper, v7 fixed the typos and updated the implementation details. Code and data: https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix