ELEGANT: 基于 GAN 交换潜在编码以转移多个人脸属性
计算机视觉与模式识别
2018-07-26 v2
摘要
近期关于人脸属性转移的研究取得了巨大成功。许多模型能够通过输入图像转移人脸属性。然而，它们存在三个局限性：（1）无法通过范例生成图像；（2）无法同时转移多个人脸属性；（3）生成图像质量低，例如分辨率低或存在伪影。为了解决这些局限性，我们提出了一种新模型，该模型接收两幅具有相反属性的图像作为输入。我们的模型能够通过交换它们编码的特定部分，将完全相同类型的属性从一幅图像转移到另一幅图像。所有属性在潜在空间中以解耦的方式编码，这使我们能够同时操作多个属性。此外，我们的模型学习残差图像，以便于在更高分辨率图像上进行训练。借助用于对抗训练的多尺度判别器，它甚至能够生成具有更精细细节和更少伪影的高质量图像。我们通过在 CelebA 人脸数据库上与其他方法进行比较，证明了我们的模型在克服上述三个局限性方面的有效性。PyTorch 实现可在 https://github.com/Prinsphield/ELEGANT 获取。
引用
@article{arxiv.1803.10562,
title = {ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes},
author = {Taihong Xiao and Jiapeng Hong and Jinwen Ma},
journal= {arXiv preprint arXiv:1803.10562},
year = {2018}
}
备注
Github: https://github.com/Prinsphield/ELEGANT