LaFIn：基于生成式关键点引导的人脸修复
计算机视觉与模式识别
2019-11-27 v1
摘要
由于外观差异巨大（如不同姿态、表情和遮挡），对自然场景中的人脸图像进行修复具有挑战性。优秀的修复算法应保证输出真实，包括眼、鼻、口之间的拓扑结构，以及姿态、性别、种族、表情等属性一致性。本文研究了一种基于深度学习的有效策略来处理这些问题，其包含一个人脸关键点预测子网络和一个图像修复子网络。具体而言，给定部分观测，关键点预测器旨在提供不完整人脸的结构信息（如拓扑关系与表情），而修复器则基于预测的关键点生成合理的外观（如性别与种族）。在 CelebA-HQ 和 CelebA 数据集上的实验揭示了我们设计的有效性，并从定性与定量上证明其优于当前最优的替代方法。此外，我们假设高质量补全人脸及其关键点可作为增强数据进一步提升（任意）关键点预测器的性能，该假设在 300W 和 WFLW 数据集上的实验结果得到证实。
引用
@article{arxiv.1911.11394,
title = {LaFIn: Generative Landmark Guided Face Inpainting},
author = {Yang Yang and Xiaojie Guo and Jiayi Ma and Lin Ma and Haibin Ling},
journal= {arXiv preprint arXiv:1911.11394},
year = {2019}
}