几何感知的人脸补全与编辑
计算机视觉与模式识别
2019-02-14 v2
摘要
人脸补全是一项具有挑战性的生成任务，因为它需要生成在语义上与未遮挡人脸区域一致且视觉令人愉悦的新像素。本文通过系统研究未遮挡区域的人脸几何，提出一种几何感知的人脸补全与编辑网络（FCENet）。首先，学习一个人脸几何估计器，从未遮挡人脸图像中估计人脸关键点热图与解析图。然后，一个编码器-解码器结构生成器用于补全人脸图像，并以遮挡人脸图像和估计的人脸几何图像为条件解耦其掩码区域。此外，由于人工标注的掩码中存在低秩特性，对解耦出的掩码施加低秩正则化项，迫使我们的补全网络处理各种形状和尺寸的遮挡区域。进一步，我们的网络可通过修改估计的人脸几何，从同一遮挡输入生成多样化结果，这为编辑补全后的人脸外观提供了灵活手段。大量定性定量的实验结果表明，我们的网络能够生成视觉令人愉悦的人脸补全结果，并能编辑人脸属性。
引用
@article{arxiv.1809.02967,
title = {Geometry-Aware Face Completion and Editing},
author = {Linsen Song and Jie Cao and Linxiao Song and Yibo Hu and Ran He},
journal= {arXiv preprint arXiv:1809.02967},
year = {2019}
}