FDNeRF：面向人脸重建与表情编辑的少样本动态神经辐射场
计算机视觉与模式识别
2022-09-14 v2
摘要
我们提出少样本动态神经辐射场（FDNeRF），这是首个基于少量动态图像实现三维人脸重建与表情编辑的基于 NeRF 的方法。不同于现有需要密集图像作为输入且只能针对单一身份建模的动态 NeRF，我们的方法以少样本输入即可跨不同人物进行人脸重建。相较于为静态场景建模的最先进少样本 NeRF，所提 FDNeRF 接受视角不一致的动力学输入，并支持任意面部表情编辑，即生成超出输入表情的新表情人脸。为处理动态输入间的不一致性，我们引入设计良好的条件特征扭曲（CFW）模块，在二维特征空间中进行表情条件化扭曲，该模块同时具有身份自适应与三维约束特性。由此，不同表情的特征被变换为目标表情特征。我们随后基于这些视角一致的特征构建辐射场，并利用体渲染合成所建人脸的新视角。包含定量与定性评估的广泛实验表明，我们的方法在三维人脸重建与表情编辑任务上均优于现有动态与少样本 NeRF。代码见 https://github.com/FDNeRF/FDNeRF。
引用
@article{arxiv.2208.05751,
title = {FDNeRF: Few-shot Dynamic Neural Radiance Fields for Face Reconstruction and Expression Editing},
author = {Jingbo Zhang and Xiaoyu Li and Ziyu Wan and Can Wang and Jing Liao},
journal= {arXiv preprint arXiv:2208.05751},
year = {2022}
}
备注
Accepted at SIGGRAPH Asia 2022. Project page: https://fdnerf.github.io