通过分层解耦的人脸逆向渲染
计算机视觉与模式识别
2023-01-31 v2
摘要
以往的人脸逆向渲染方法通常需要带有真值的合成数据和/或诸如光照舞台等专业设备。然而，由于合成数据/光照先验与真实数据之间存在差距，在合成数据上训练或使用预定义光照先验的模型通常无法很好地泛化到真实场景。此外，对于普通用户而言，专业设备和技能使得该任务昂贵且复杂。在本文中，我们提出了一种深度学习框架，将自然场景下的人脸图像解耦为对应的反照率、法线和光照分量。具体而言，我们构建了一个采用分层细分策略的分解网络，该网络以从任意视点捕获的图像对作为输入。通过这种方式，我们的方法能够极大地减轻数据准备的压力，并显著拓宽人脸逆向渲染的适用性。我们进行了大量实验以证明我们设计的有效性，并表明其在人脸重打光方面优于其他 SOTA 方法。{我们的代码可在 \url{https://github.com/AutoHDR/HD-Net.git} 获取}
引用
@article{arxiv.2301.06733,
title = {Face Inverse Rendering via Hierarchical Decoupling},
author = {Meng Wang and Xiaojie Guo and Wenjing Dai and Jiawan Zhang},
journal= {arXiv preprint arXiv:2301.06733},
year = {2023}
}