RigNeRF：完全可控的神经3D人像
计算机视觉与模式识别
2022-06-15 v1
摘要
体积神经渲染方法，如神经辐射场（NeRFs），已实现照片级真实的新视角合成。然而，其标准形式不支持对场景中物体（如人头）的编辑。在本工作中，我们提出 RigNeRF，一个超越新视角合成、能从单段人像视频中学习并实现对头部姿态与面部表情完全控制的系统。我们使用由三维可变形人脸模型（3DMM）引导的形变场来建模头部姿态与面部表情的变化。3DMM 有效地作为 RigNeRF 的先验，使其仅学习 3DMM 形变的残差，并允许我们渲染输入序列中未出现的全新（刚体）姿态与（非刚体）表情。仅使用智能手机拍摄的受试者短视频进行训练，我们展示了我们的方法在具有显式头部姿态与表情控制的人像场景自由视角合成上的有效性。项目页面见：http://shahrukhathar.github.io/2022/06/06/RigNeRF.html
引用
@article{arxiv.2206.06481,
title = {RigNeRF: Fully Controllable Neural 3D Portraits},
author = {ShahRukh Athar and Zexiang Xu and Kalyan Sunkavalli and Eli Shechtman and Zhixin Shu},
journal= {arXiv preprint arXiv:2206.06481},
year = {2022}
}
备注
The project page can be found here: http://shahrukhathar.github.io/2022/06/06/RigNeRF.html