用于跨域解耦的图像到图像翻译
计算机视觉与模式识别
2018-11-06 v3
摘要
深度图像翻译方法近来取得了优异的结果，能够输出覆盖数据分布多个模态的高质量图像。同时，人们对解耦深度方法所学到的内部表示以进一步提升性能并实现更精细控制也愈发关注。在本文中，我们桥接这两个目标并引入跨域解耦的概念。我们旨在将内部表示分为三部分。共享部分包含两域共有的信息。而独占部分则仅包含各自域特有的变异因素。我们基于生成对抗网络（Generative Adversarial Networks，GAN）和跨域自编码器（一种新颖的网络组件）通过双向图像翻译实现这一点。我们的模型具有多重优势。我们可以输出覆盖两域分布多个模态的多样样本，执行特定域的图像迁移与插值，以及跨域检索，且无需标注数据，仅需成对图像。我们将我们的模型与多模态图像翻译中的最优方法（state-of-the-art，SOTA）进行比较，并在具有挑战性的数据集上的翻译以及现实数据集上的跨域检索方面取得了更好的结果。
引用
@article{arxiv.1805.09730,
title = {Image-to-image translation for cross-domain disentanglement},
author = {Abel Gonzalez-Garcia and Joost van de Weijer and Yoshua Bengio},
journal= {arXiv preprint arXiv:1805.09730},
year = {2018}
}
备注
Accepted to NIPS 2018