用于重建口罩遮挡下面部图像的深度学习框架

尽管基于深度学习的图像重建方法在从图片中移除物体方面已取得显著成功，但它们在使性别、种族、表情及面部拓扑结构等特征保持一致性方面尚未取得可接受的结果。本工作的目的是从戴口罩的图像中提取口罩区域并重建所检测到的区域。该问题十分复杂，因为（i）难以确定口罩后隐藏图像的性别，导致网络混淆并将男性脸重建为女性或反之；（ii）我们可能接收到多角度图像，使得保持真实形状、面部拓扑结构和自然图像极为困难；（iii）存在各种口罩形式的问题，因为某些情况下口罩区域无法被精确预估，补全后口罩的某些部分仍残留在脸上。为解决这一复杂任务，我们将问题分为三个阶段：关键点检测、针对目标口罩区域的物体检测，以及对所定位口罩区域的修复。首先，为解决第一个问题，我们使用性别分类来检测口罩后的真实性别，然后检测戴口罩人脸图像的关键点。其次，我们识别非面部物品即口罩，并使用 Mask R-CNN 网络生成观测口罩区域的二值掩码。第三，我们开发了利用预估关键点生成逼真图像的修复网络。为分割口罩，本文使用 mask R-CNN 并提供二值分割图以识别口罩区域。此外，我们通过基于 GAN 的网络利用关键点作为结构引导来生成图像。本文所呈现的研究使用了 FFHQ 和 CelebA 数据集。