神经 3D 肖像的可控动态外观
计算机视觉与模式识别
2023-09-22 v2
摘要
神经辐射场（NeRFs）的最新进展使得重建和重新驱动动态肖像场景成为可能，并能够控制头部姿态、面部表情和视角方向。然而，训练此类模型假定形变区域上具有光度一致性，例如面部在随头部姿态和面部表情形变时必须受均匀光照。视频各帧间的这种光度一致性难以保持，即便在摄影棚环境中也是如此，从而使得所创建的可重新驱动神经肖像在重新驱动时易出现伪影。在本工作中，我们提出 CoDyNeRF，一种可在真实世界采集条件下创建完全可控 3D 肖像的系统。CoDyNeRF 学习在规范空间中通过依赖于预测表面法线以及面部表情和头部姿态形变的动态外观模型来近似光照相关效应。表面法线预测由 3DMM 法线引导，后者作为人头部法线的粗先验，由于头部姿态和面部表情变化引起的刚性与非刚性形变，直接预测法线十分困难。仅使用智能手机采集的受试者短视频进行训练，我们展示了我们的方法在具有显式头部姿态和表情控制以及逼真光照效果的肖像场景自由视角合成上的有效性。项目页面见：http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html
引用
@article{arxiv.2309.11009,
title = {Controllable Dynamic Appearance for Neural 3D Portraits},
author = {ShahRukh Athar and Zhixin Shu and Zexiang Xu and Fujun Luan and Sai Bi and Kalyan Sunkavalli and Dimitris Samaras},
journal= {arXiv preprint arXiv:2309.11009},
year = {2023}
}