一种基于 3D 模型的自然场景下人脸佩戴口罩拟合方法

在这场前所未有的 COVID-19 大流行时期,人脸识别现在需要大量带标注的戴口罩人脸图像。遗憾的是,病毒的快速传播让我们几乎没有时间为这样的自然场景数据集做准备。为规避此问题,我们提出一种称为 WearMask3D 的基于 3D 模型的方法,用于将各种姿态的人脸图像增强为对应的戴口罩人脸。我们的方法首先在输入图像上拟合 3D 可变形模型,其次将口罩表面叠加到人脸模型上并扭曲相应的口罩纹理,最后将 3D 口罩投影回 2D。口罩纹理根据输入图像的亮度和分辨率进行调整。通过在 3D 中处理,我们的方法可以从单一口罩纹理生成更多姿态多样的天然戴口罩人脸。为精确比较不同增强方法,我们构建了一个包含带标注戴口罩与未戴口罩人脸的数据集,称为 MFW-mini。实验结果表明 WearMask3D 生成更真实的戴口罩人脸,并且利用这些图像进行训练可取得戴口罩人脸识别的最优准确率。