基于条件 GAN 与掩码引导的人像编辑

人像编辑是照片处理中的热门主题。生成对抗网络(GAN)推动了逼真人脸的生成并允许更多人脸编辑。在本文中，我们探讨现有技术中人脸合成与编辑的三个问题：多样性、质量与可控性。为解决这些问题，我们提出了一种新颖的端到端学习框架，利用由给定人脸掩码引导的条件 GAN 来生成人脸。该框架为每个人脸部件（如嘴、头发、眼睛）分别学习特征嵌入，有助于更好的图像翻译对应关系和局部人脸编辑。借助掩码，我们的网络可用于多种应用，如由掩码驱动的人脸合成、Face Swap+（包含头发交换）以及局部操控。作为数据增强的一种选项，它还能略微提升人脸解析的性能。