基于偏振智能手机图像的高分辨率面部外观捕获

我们提出一种从 RGB 图像进行高质量面部纹理重建的新方法，采用基于单部智能手机的新捕获流程，为其配备廉价的偏振箔片。具体而言，我们将闪光灯变为偏振光源，并在相机上方加装偏振滤镜。利用该设置，我们以交叉偏振与平行偏振光捕获受试者面部。对每个受试者，我们在暗环境中使用改装智能手机在闪光照明下以不同光偏振录制两段短序列。基于这些观测，我们利用运动恢复结构重建面部的显式表面网格。随后，我们在可微渲染器中利用相机与光源共位，通过分析-合成方法优化面部纹理。我们的方法采用由粗到精的优化方案，优化高分辨率法线纹理、漫反射反照率与镜面反照率。我们展示了优化后的纹理可用于标准渲染管线，在新环境中合成高质量照片级真实感 3D 数字人。