DRIT++：基于解耦表示的多样化图像到图像翻译
计算机视觉与模式识别
2019-12-19 v2
摘要
图像到图像翻译旨在学习两个视觉域之间的映射。该任务面临两个主要挑战：1）缺乏成对训练数据；2）单张输入图像可能产生多种输出。在本工作中，我们提出了一种基于解耦表示的方法，用于在没有成对训练图像的情况下生成多样化输出。为了合成多样化输出，我们建议将图像嵌入到两个空间：一个捕获跨域共享信息的域不变内容空间，以及一个域特定属性空间。我们的模型提取从给定输入中编码的内容特征，并从属性空间中采样属性向量，以在测试时合成多样化输出。为了处理不成对训练数据，我们引入了基于解耦表示的跨循环一致性损失。定性结果表明，我们的模型能够在没有成对训练数据的广泛任务上生成多样且逼真的图像。对于定量评估，我们通过用户研究和 Fréchet Inception Distance 测量真实性，并通过感知距离度量、Jensen-Shannon 散度和统计不同区间数来测量多样性。
引用
@article{arxiv.1905.01270,
title = {DRIT++: Diverse Image-to-Image Translation via Disentangled Representations},
author = {Hsin-Ying Lee and Hung-Yu Tseng and Qi Mao and Jia-Bin Huang and Yu-Ding Lu and Maneesh Singh and Ming-Hsuan Yang},
journal= {arXiv preprint arXiv:1905.01270},
year = {2019}
}
备注
IJCV Journal extension for ECCV 2018 "Diverse Image-to-Image Translation via Disentangled Representations" arXiv:1808.00948. Project Page: http://vllab.ucmerced.edu/hylee/DRIT_pp/ Code: https://github.com/HsinYingLee/DRIT