基于编码器-生成器架构的迭代人脸图像修复

人脸图像修复是一个具有挑战性的问题，因为它需要为面部中被遮挡的关键部件（如眼睛和鼻子）生成包含语义信息的新像素。近来该领域提出了一些显著的方法。这类方法大多使用编码器-解码器架构，并存在不同局限，例如对给定图像和特定掩码只能给出唯一结果。作为替代，一些基于优化的方法使用生成器网络与不同掩码生成了有前景的结果。然而，这些方法计算开销更大。本文中，我们提出一种使用循环反向生成器（CRG）架构的人脸图像修复高效解决方案，其提供了一个编码器-生成器模型。我们使用编码器将给定图像嵌入生成器空间，并逐步修复被掩码区域直至生成合理图像；我们训练了一个判别器模型以在迭代过程中评估生成图像的质量并确定收敛。生成过程后，在后处理中，我们利用专门为此任务训练的Unet模型来修复靠近掩码边界的伪影。我们通过经验观察到，所提模型仅需少量迭代即可生成逼真图像。由于模型并非针对特定掩码类型训练，我们的方法支持基于草图的修复、使用多种掩码类型，并生成多个多样化结果。我们将方法与最先进模型在定量和定性上进行比较，观察到我们的方法在所有掩码类型中均可与其他模型竞争；在使用了较大掩码的图像中尤为出色。我们的代码、数据集和模型可在 https://github.com/yahyadogan72/iterative facial image inpainting 获取。