中文

用于图像增强与动画的风格生成器反演

计算机视觉与模式识别 2019-07-01 v1 机器学习 机器学习

摘要

训练高质量图像生成模型的主要动机之一是其作为图像处理工具的潜在用途。近年来,生成对抗网络(GAN)已能生成质量卓越的图像。遗憾的是,对抗式训练的无条件生成器网络作为图像先验并不成功。网络充当生成式图像先验的一个主要要求是能够生成目标分布中所有可能的图像。对抗学习常遭遇模式坍塌,表现为生成器无法生成目标分布的某些模式。另一个常不满足的要求是可逆性,即拥有一种在给定所需输出图像时找到有效输入潜码的高效方法。在本工作中,我们表明与早期的 GAN 不同,最近提出的风格生成器相当容易反演。我们利用这一重要观察,提出将风格生成器作为通用图像先验。我们证明,在图像增强任务中,风格生成器作为先验优于其他 GAN 以及深度图像先验(Deep Image Prior)。风格生成器所张成的潜空间满足线性的身份-姿态关系。潜空间的线性特性,结合可逆性,使我们能够在无监督的情况下对静态面部图像进行动画处理。我们进行了大量实验来支持本文的主要贡献。

关键词

引用

@article{arxiv.1906.11880,
  title  = {Style Generator Inversion for Image Enhancement and Animation},
  author = {Aviv Gabbay and Yedid Hoshen},
  journal= {arXiv preprint arXiv:1906.11880},
  year   = {2019}
}

备注

Project page: http://www.vision.huji.ac.il/style-image-prior