DeepFaceFlow：野外单目稠密三维面部运动估计
计算机视觉与模式识别
2020-05-18 v1
摘要
仅从野外单目 RGB 图像对进行稠密三维面部运动捕捉是一个极具挑战性的问题，具有从面部表情识别到面部重演等众多应用。在本工作中，我们提出 DeepFaceFlow，一个鲁棒、快速且高精度的框架，用于单目图像对之间三维非刚性面部流的稠密估计。我们的 DeepFaceFlow 框架在两个超大规模面部视频数据集上训练和测试，其中之一是 ourselves 收集并标注的，借助遮挡感知和基于三维的损失函数。我们进行了全面实验，探查方法的各个方面，并展示其相对于当前最优流和三维重建方法的性能提升。此外，我们将我们的框架整合进一个全头当前最优面部视频合成方法中，展示了我们的方法在更好地表示和捕捉面部动态方面的能力，从而实现高度逼真的面部视频合成。给定配准图像对，我们的框架以约 60 fps 生成三维流图。
引用
@article{arxiv.2005.07298,
title = {DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation},
author = {Mohammad Rami Koujan and Anastasios Roussos and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2005.07298},
year = {2020}
}
备注
to be published in the IEEE conference on Computer Vision and Pattern Recognition (CVPR). 2020