基于三维可变形模型与生成对抗网络的人脸去遮挡
计算机视觉与模式识别
2019-09-09 v2
摘要
近几十年来，三维可变形模型（3DMM）已普遍用于基于图像的照片级真实感三维人脸重建。然而，人脸图像常受到眼镜、口罩和手等非人脸物体的严重遮挡。此类物体阻碍了对 landmark 与明暗信息的正确捕获。因此，重建的三维人脸模型几乎不可复用。本文提出一种基于 3DMM 逆用与生成对抗网络修复去遮挡人脸图像的新方法。我们利用 3DMM 作为所提对抗网络的先验，并结合全局与局部对抗卷积神经网络来学习人脸去遮挡模型。3DMM 既作为几何先验，也为局部判别器提供人脸区域。实验结果证实了所提算法在去除具有不同头部姿态与光照的挑战性遮挡类型时的有效性与鲁棒性。此外，该方法以去遮挡纹理重建出正确的三维人脸模型。
引用
@article{arxiv.1904.06109,
title = {Face De-occlusion using 3D Morphable Model and Generative Adversarial Network},
author = {Xiaowei Yuan and In Kyu Park},
journal= {arXiv preprint arXiv:1904.06109},
year = {2019}
}
备注
Presented in ICCV 2019