基于多模态轮廓条件与身份引导的人脸生成

近期的人脸生成方法试图基于给定的轮廓条件（如低分辨率图像或草图）合成人脸。然而，身份模糊问题仍未解决，这通常发生在轮廓过于模糊而无法提供可靠身份信息时（例如当其分辨率极低时）。因此图像复原的可行解可能是无穷的。在本工作中，我们提出了一种新颖框架，以轮廓和指定身份的额外图像作为输入，其中轮廓可为多种模态，包括低分辨率图像、草图和语义标签图。具体而言，我们提出了一种新颖的双编码器架构，其中身份编码器提取身份相关特征，辅以主编码器获取粗略轮廓信息并进一步融合所有信息。编码器输出被迭代送入预训练的 StyleGAN 生成器，直至获得满意结果。据我们所知，这是首个实现以多模态轮廓图像为条件的身份引导人脸生成的工作。此外，我们的方法可生成 1024$\times$1024 分辨率的照片级真实感结果。