LSC-GAN:面向连续图像到图像翻译的潜风格码建模
计算机视觉与模式识别
2021-10-12 v1
摘要
图像到图像(I2I)翻译通常在离散域之间进行。然而,图像域往往对应某个物理值,通常是连续的。换言之,图像随该值逐渐变化,不同域之间不存在明显间隙。本文旨在为连续变化域之间的 I2I 翻译建立模型。我们首先将整个域覆盖范围划分为离散区间,并显式地对每个区间中心的潜风格码进行建模。为处理连续翻译,我们设计了编辑模块,沿两个方向改变潜风格码。这些编辑模块有助于在训练过程中约束域中心的码,从而使模型能更好地理解它们之间的关系。为获得多样化结果,潜风格码进一步通过随机噪声或参考图像的特征进行多样化,将个体风格码提供给解码器以进行基于标签或基于参考的合成。在年龄与视角翻译上的大量实验表明,所提方法能获得高质量结果,且对用户而言也具有灵活性。
引用
@article{arxiv.2110.05052,
title = {LSC-GAN: Latent Style Code Modeling for Continuous Image-to-image Translation},
author = {Qiusheng Huang and Xueqi Hu and Li Sun and Qingli Li},
journal= {arXiv preprint arXiv:2110.05052},
year = {2021}
}