FaceEraser：面向增强现实的面部部件去除
计算机视觉与模式识别
2021-10-25 v2
摘要
我们的任务是去除所有面部部件（例如眉毛、眼睛、嘴巴和鼻子），然后将视觉元素叠加到“空白”脸上以实现增强现实。传统的物体去除方法依赖于图像修复技术（例如 EdgeConnect、HiFill），这些技术以自监督方式利用随机处理的图像对进行训练。具体而言，给定一组自然图像，将随机掩膜的图像作为输入，原始图像作为真值。然而，该技术不满足面部部件去除的要求，因为难以获得具有真实“空白”脸的“真值”图像。为解决此问题，我们提出了一种新颖的数据生成技术来产生良好模拟“空白”脸的成对训练数据。同时，我们提出了一种新颖的网络架构以提升我们任务的修复质量。最后，我们在面部部件去除模型之上展示了多种面向人脸的增强现实应用。源代码已在 github 的 \href{https://github.com/duxingren14/FaceEraser}{duxingren14/FaceEraser} 发布以供研究使用。
引用
@article{arxiv.2109.10760,
title = {FaceEraser: Removing Facial Parts for Augmented Reality},
author = {Miao Hua and Lijie Liu and Ziyang Cheng and Qian He and Bingchuan Li and Zili Yi},
journal= {arXiv preprint arXiv:2109.10760},
year = {2021}
}
备注
18 pages, 15 figures. ICCV 2021, Fifth Workshop on Computer Vision for AR/VR