基于智能手机视频的可重光照三维头部肖像
计算机视觉与模式识别
2020-12-21 v1
摘要
本文提出一种生成可重光照人体头部三维肖像的系统。我们的神经流水线处理由智能手机摄像头在闪光闪烁下捕获的帧序列（闪光–无闪光序列）。通过运动恢复结构软件与多视角去噪重建的粗点云被用作几何代理。随后训练深度渲染网络，对任意新视角回归稠密反照率、法线与环境光照图。实质上，该代理几何与渲染网络构成可重光照三维肖像模型，可从任意视角与任意光照（如方向光、点光或环境贴图）下合成。模型以人脸专用先验拟合帧序列，强制反照率–光照分解合理性，并以交互帧率运行。我们在不同光照条件与外推视角下评估该方法性能，并与现有重光照方法比较。
引用
@article{arxiv.2012.09963,
title = {Relightable 3D Head Portraits from a Smartphone Video},
author = {Artem Sevastopolsky and Savva Ignatiev and Gonzalo Ferrer and Evgeny Burnaev and Victor Lempitsky},
journal= {arXiv preprint arXiv:2012.09963},
year = {2020}
}