FML：从视频中学习人脸模型
计算机视觉与模式识别
2019-04-10 v2
摘要
基于单目图像的人脸三维重建是计算机视觉中一个长期存在的问题。由于图像数据是三维人脸的二维投影，由此产生的深度模糊使该问题成为不适定问题。大多数现有方法依赖于由有限三维人脸扫描构建的数据驱动先验。相反，我们提出一种基于多帧视频的深度网络自监督训练，其 (i) 在形状和外观上学习人脸身份模型，同时 (ii) 联合学习重建三维人脸。我们的人脸模型仅使用从互联网收集的野生视频片段语料库进行学习。这一几乎无穷无尽的训练数据来源使得学习一个高度通用的人脸三维模型成为可能。为实现这一点，我们提出了一种新颖的多帧一致性损失，以确保受试者人脸多帧间形状和外观的一致性，从而最小化深度模糊。在测试时我们可以使用任意数量的帧，从而能够进行单目以及多帧重建。
引用
@article{arxiv.1812.07603,
title = {FML: Face Model Learning from Videos},
author = {Ayush Tewari and Florian Bernard and Pablo Garrido and Gaurav Bharaj and Mohamed Elgharib and Hans-Peter Seidel and Patrick Pérez and Michael Zollhöfer and Christian Theobalt},
journal= {arXiv preprint arXiv:1812.07603},
year = {2019}
}
备注
CVPR 2019 (Oral). Video: https://www.youtube.com/watch?v=SG2BwxCw0lQ, Project Page: https://gvv.mpi-inf.mpg.de/projects/FML19/