从真实世界视频中学习人脸的逆渲染
计算机视觉与模式识别
2020-03-27 v1
摘要
本文研究真实人脸图像的逆渲染问题。现有方法通过在合成人脸数据上的监督训练，将人脸图像分解为三个分量（反照率、法线、光照）。然而，由于真实与合成人脸图像间的域差距，在合成数据上训练的模型往往不能很好地泛化到真实数据。同时，由于真实图像的任何分量均无真值可用，在真实人脸图像上进行监督学习并不可行。为缓解该问题，我们提出一种弱监督训练方法，基于不同帧间反照率与法线一致性的假设，在真实人脸视频上训练模型，从而弥合真实与合成人脸图像间的差距。此外，我们引入一个名为IlluRes-SfSNet的学习框架，进一步提取残差图以捕捉全局光照效应，其给出的精细细节在现有方法中多被忽略。我们的网络在真实与合成数据上同时训练，兼得二者之益。我们在多种基准上全面评估了我们的方法，取得了优于最先进方法的逆渲染结果。
引用
@article{arxiv.2003.12047,
title = {Learning Inverse Rendering of Faces from Real-world Videos},
author = {Yuda Qiu and Zhangyang Xiong and Kai Han and Zhongyuan Wang and Zixiang Xiong and Xiaoguang Han},
journal= {arXiv preprint arXiv:2003.12047},
year = {2020}
}
备注
First two authors contributed equally. Code:https://github.com/RudyQ/InverseFaceRender