高保真人脸模型用于单目性能跟踪的自监督自适应
计算机视觉与模式识别
2019-07-26 v1
摘要
数据采集与人脸建模技术的改进使我们能够创建高保真逼真人脸模型。然而，驱动这些逼真人脸模型需要特殊输入数据，例如3D网格和展开纹理。并且，这些人脸模型期望在受控实验室环境下获取的干净输入数据，这与野外采集的数据非常不同。所有这些约束使得在普通摄像头跟踪中使用高保真模型具有挑战性。在本文中，我们提出一种自监督域自适应方法，使高保真人脸模型能从普通摄像头驱动。我们的方法首先通过训练一个新网络直接从单张2D图像驱动人脸模型，规避了对特殊输入数据的需求。然后，基于“连续帧纹理一致性”（假设人脸外观在连续帧间一致，从而避免对新环境如光照或背景建模的必要性）执行自监督域自适应，克服了实验室与非受控环境间的域不匹配。实验表明，我们能够在无需新域任何标注数据的情况下，从手机摄像头驱动高保真人脸模型完成复杂面部运动。
引用
@article{arxiv.1907.10815,
title = {Self-Supervised Adaptation of High-Fidelity Face Models for Monocular Performance Tracking},
author = {Jae Shin Yoon and Takaaki Shiratori and Shoou-I Yu and Hyun Soo Park},
journal= {arXiv preprint arXiv:1907.10815},
year = {2019}
}
备注
This work is accepted by CVPR 2019