解读 GAN 潜空间用于语义人脸编辑
计算机视觉与模式识别
2020-04-01 v3
摘要
尽管生成对抗网络（GANs）在高保真图像合成方面取得了近期进展，但对于 GANs 如何将随机分布中采样的潜码映射为照片级真实图像仍缺乏足够理解。先前工作假设 GANs 学习的潜空间遵循分布式表示，但观察到了向量算术现象。本工作中，我们提出一种称为 InterFaceGAN 的新颖框架，通过解读 GANs 学习的潜语义来实现语义人脸编辑。在该框架下，我们详细研究了不同语义如何在 GANs 的潜空间中被编码以用于人脸合成。我们发现，经过线性变换后，训练良好的生成模型的潜码实际上学习到了解耦表示。我们探索了各种语义之间的解耦，并设法通过子空间投影解耦一些纠缠的语义，从而实现对面部属性更精确的控制。除了操控性别、年龄、表情和眼镜存在与否，我们甚至可以改变人脸姿态，并修复 GAN 模型意外生成的人脸伪影。所提方法进一步结合 GAN 反演方法或某些含编码器的模型，被应用于实现真实图像操控。大量结果表明，学习自发合成人脸会带来解耦且可控的面部属性表示。
引用
@article{arxiv.1907.10786,
title = {Interpreting the Latent Space of GANs for Semantic Face Editing},
author = {Yujun Shen and Jinjin Gu and Xiaoou Tang and Bolei Zhou},
journal= {arXiv preprint arXiv:1907.10786},
year = {2020}
}
备注
CVPR2020 camera-ready