中文

LSC-GAN:面向连续图像到图像翻译的潜风格码建模

计算机视觉与模式识别 2021-10-12 v1

摘要

图像到图像(I2I)翻译通常在离散域之间进行。然而,图像域往往对应某个物理值,通常是连续的。换言之,图像随该值逐渐变化,不同域之间不存在明显间隙。本文旨在为连续变化域之间的 I2I 翻译建立模型。我们首先将整个域覆盖范围划分为离散区间,并显式地对每个区间中心的潜风格码进行建模。为处理连续翻译,我们设计了编辑模块,沿两个方向改变潜风格码。这些编辑模块有助于在训练过程中约束域中心的码,从而使模型能更好地理解它们之间的关系。为获得多样化结果,潜风格码进一步通过随机噪声或参考图像的特征进行多样化,将个体风格码提供给解码器以进行基于标签或基于参考的合成。在年龄与视角翻译上的大量实验表明,所提方法能获得高质量结果,且对用户而言也具有灵活性。

关键词

引用

@article{arxiv.2110.05052,
  title  = {LSC-GAN: Latent Style Code Modeling for Continuous Image-to-image Translation},
  author = {Qiusheng Huang and Xueqi Hu and Li Sun and Qingli Li},
  journal= {arXiv preprint arXiv:2110.05052},
  year   = {2021}
}