条件式图像到图像翻译
计算机视觉与模式识别
2018-05-02 v1
摘要
图像到图像翻译任务已借助生成对抗网络（GANs）和对偶学习得到广泛研究。然而，现有模型缺乏控制目标域中翻译结果的能力，且其结果通常缺乏多样性，即固定图像往往导致（几乎）确定性的翻译结果。本文研究一个新问题——条件式图像到图像翻译，即将源域图像翻译到目标域时以目标域中给定图像为条件。它要求生成的图像应继承条件图像在目标域中的一些特定领域特征。因此，改变目标域中的条件图像将为源域的固定输入图像带来多样的翻译结果，从而条件输入图像有助于控制翻译结果。我们基于 GANs 和对偶学习，利用未配对数据解决该问题。我们将两个有条件的翻译模型（一个从 A 域到 B 域，另一个从 B 域到 A 域）交织在一起，以进行输入组合与重建，同时保留领域无关特征。我们在男性人脸到女性人脸的翻译以及边缘到鞋包翻译上进行了实验。结果证明了我们所提方法的有效性。
引用
@article{arxiv.1805.00251,
title = {Conditional Image-to-Image Translation},
author = {Jianxin Lin and Yingce Xia and Tao Qin and Zhibo Chen and Tie-Yan Liu},
journal= {arXiv preprint arXiv:1805.00251},
year = {2018}
}
备注
9 pages, 9 figures, IEEE Conference on Computer Vision and Pattern Recognition (CVPR)