从多视图图像恢复人脸反射率与几何
计算机视觉与模式识别
2019-11-28 v1 图形学
摘要
尽管从图像估计人脸形状与漫反射率的问题已被广泛研究，但关于恢复镜面反照率的工作相对较少。本文提出一种轻量级方案，用于推断照片级真实感的人脸反射率与几何。我们的系统处理来自某人两视角视频流，并输出漫反射与镜面反照率的两张反射率图，以及一张表面法向向量图。采用基于模型的优化方法，包含多视图人脸模型拟合、人脸反射率推断和人脸几何细化三个阶段。我们的方法基于一种新颖的公式，该公式建立在用于表示三维纹理人脸的三维可变形模型（3DMM）之上，并结合 Blinn-Phong 反射模型。其优势在于仅需两路视频流的简单设置，并能利用跨多视图及时间帧的漫反射与镜面反射之间的相互作用。因此，该方法能可靠恢复高保真人脸反射率与几何，便于诸如在新视角或光照条件下生成照片级真实感人脸图像等多种应用。
引用
@article{arxiv.1911.11999,
title = {Recovering Facial Reflectance and Geometry from Multi-view Images},
author = {Guoxian Song and Jianmin Zheng and Jianfei Cai and Tat-Jen Cham},
journal= {arXiv preprint arXiv:1911.11999},
year = {2019}
}