基于 UV 映射的深度人脸视频修复
计算机视觉与模式识别
2023-02-14 v2
摘要
本文解决人脸视频修复问题。现有视频修复方法主要针对具有重复图案的自然场景，未利用任何人脸先验知识来帮助为受损人脸检索对应关系，因此仅取得次优结果，尤其对于大姿态与表情变化下各帧间人脸部件差异显著的人脸。本文提出一种两阶段深度学习方法用于人脸视频修复。我们采用 3DMM 作为三维人脸先验，在图像空间与 UV（纹理）空间之间转换人脸。第一阶段，我们在 UV 空间执行人脸修复，这有助大幅消除人脸姿态与表情影响，并使对齐良好的人脸特征令学习任务更易。我们引入帧间注意力模块以充分利用相邻帧中的对应关系辅助修复任务。第二阶段，我们将修复后的人脸区域转回图像空间，并执行人脸视频细化，修复第一阶段未覆盖的背景区域并细化已修复人脸区域。大量实验表明，我们的方法显著优于仅基于二维信息的方法，尤其对于大姿态与表情变化下的人脸。项目主页：https://ywq.github.io/FVIP
引用
@article{arxiv.2109.00681,
title = {Deep Face Video Inpainting via UV Mapping},
author = {Wenqi Yang and Zhenfang Chen and Chaofeng Chen and Guanying Chen and Kwan-Yee K. Wong},
journal= {arXiv preprint arXiv:2109.00681},
year = {2023}
}
备注
TIP 2023