中文

ISF-GAN:一种用于高分辨率图像到图像翻译的隐式风格函数

计算机视觉与模式识别 2022-03-07 v2

摘要

近年来,人们对使用预训练无条件图像生成器(如StyleGAN)的图像编辑方法兴趣日增。然而,将这些方法应用于将图像翻译到多个视觉域仍然具有挑战性。现有工作通常不能很好地保留图像中域不变的部分(例如人脸翻译中的身份特征),通常不处理多个域,或不允许进行多模态翻译。本工作提出了一种隐式风格函数(ISF),以直接从预训练无条件生成器实现多模态和多域图像到图像翻译。ISF操控输入潜码的语义,使其生成的图像位于期望的视觉域中。我们在人脸和动物操控上的结果显示,相较于基线方法有显著改进。我们的模型能够使用预训练无条件GAN以经济高效的方式实现高分辨率的多模态无监督图像到图像翻译。代码与数据见:\url{https://github.com/yhlleo/stylegan-mmuit}。

关键词

引用

@article{arxiv.2109.12492,
  title  = {ISF-GAN: An Implicit Style Function for High-Resolution Image-to-Image Translation},
  author = {Yahui Liu and Yajing Chen and Linchao Bao and Nicu Sebe and Bruno Lepri and Marco De Nadai},
  journal= {arXiv preprint arXiv:2109.12492},
  year   = {2022}
}

备注

14 pages, 15 figures