InterFaceGAN：解读 GAN 学到的解耦人脸表征
计算机视觉与模式识别
2020-10-30 v2 机器学习
图像与视频处理
摘要
尽管生成对抗网络（GANs）在人脸合成方面取得了显著进展，但对于 GAN 在潜变量表征中学习了什么以将随机编码映射为照片级真实感图像，仍缺乏足够的理解。在这项工作中，我们提出了一个称为 InterFaceGAN 的框架，用于解读最先进的 GAN 模型学到的解耦人脸表征，并研究潜空间中编码的人脸语义属性。我们首先发现 GAN 在潜空间的某些线性子空间中学习了各种语义。在识别出这些子空间后，我们可以真实地操控相应的人脸属性而无需重新训练模型。随后我们对不同语义之间的相关性进行了详细研究，并通过子空间投影更好地解耦它们，从而实现对属性操控的更精确控制。除了操控性别、年龄、表情和是否佩戴眼镜外，我们甚至可以改变人脸姿态并修复 GAN 意外产生的伪影。此外，我们进行了深入的人脸身份分析和逐层分析，以定量评估编辑结果。最后，我们通过采用 GAN 反演方法并基于 InterFaceGAN 建立的合成数据显式训练前馈模型，将我们的方法应用于真实人脸编辑。大量实验结果表明，学习合成人脸会自发地带来一种解耦且可控的人脸表征。
引用
@article{arxiv.2005.09635,
title = {InterFaceGAN: Interpreting the Disentangled Face Representation Learned by GANs},
author = {Yujun Shen and Ceyuan Yang and Xiaoou Tang and Bolei Zhou},
journal= {arXiv preprint arXiv:2005.09635},
year = {2020}
}
备注
Accepted by TPAMI 2020