3DFaceFill：一种用于人脸补全的分析-合成方法
计算机视觉与模式识别
2021-10-22 v1
摘要
现有人脸补全方案主要由端到端模型驱动，直接生成2D被遮挡人脸的2D补全结果。由于必须隐式地解释面部形状与外观中的几何和光度变化，此类方法会导致不真实的补全，尤其在姿态、形状、光照和遮挡尺寸存在较大变化时。为缓解这些局限，我们提出3DFaceFill，一种显式考虑图像形成过程的分析-合成人脸补全方法。它包含三个组件：(1)将人脸解耦为其构成的3D网格、3D姿态、光照和反照率因子的编码器，(2)对反照率UV表示进行修复的自编码器，以及(3)重新合成补全人脸的渲染器。通过在UV表示上操作，3DFaceFill获得了对应关系的优势，并使我们能够更自然地有效施加几何先验(如面部对称性)。在定量上，对于大遮挡，3DFaceFill将SOTA提升了高达4dB的PSNR和25%更好的LPIPS。在定性上，相较于一系列遮挡，它产生了明显更具真实感的人脸补全，同时保持了全局与部件级形状、姿态、光照和视线的一致性。
引用
@article{arxiv.2110.10395,
title = {3DFaceFill: An Analysis-By-Synthesis Approach to Face Completion},
author = {Rahul Dey and Vishnu Boddeti},
journal= {arXiv preprint arXiv:2110.10395},
year = {2021}
}
备注
Winter Conference on Applications of Computer Vision, WACV 2022