使用条件 CycleGAN 的属性引导人脸生成

我们对属性引导的人脸生成感兴趣：给定一个低分辨率人脸输入图像以及一个可从高分辨率图像（属性图像）中提取的属性向量，我们的新方法为低分辨率输入生成满足给定属性的高分辨率人脸图像。为解决这一问题，我们对 CycleGAN 施加条件并提出了条件 CycleGAN，其设计目的在于：1) 处理未配对训练数据，因为训练用的低/高分辨率图像与高分辨率属性图像之间未必对齐；2) 允许通过输入属性轻松控制生成人脸的外观。我们在属性引导的条件 CycleGAN 上展示了令人印象深刻的结果，该方法能够合成逼真的人脸图像，且其外观可由用户提供的属性（例如性别、化妆、发色、眼镜）轻松控制。将属性图像作为身份以生成相应的条件向量，并结合人脸验证网络，属性引导网络即成为身份引导的条件 CycleGAN，在身份迁移上产生了令人印象深刻且有趣的结果。我们展示了身份引导的条件 CycleGAN 的三个应用：保持身份的人脸超分辨率、人脸交换和正面人脸生成，这些应用一致地展现了我们新方法的优势。