MA-NeRF：基于运动辅助神经辐射场的稀疏图像人脸合成
计算机视觉与模式识别
2023-06-27 v2
摘要
我们解决从稀疏图像进行逼真 3D 人脸化身合成的问题。现有的用于人脸化身重建的参数化模型难以生成源自输入图像的细节。同时，尽管当前基于 NeRF 的化身方法为新视角合成提供了有前景的结果，它们对于未见过的表情泛化能力不佳。我们从 NeRF 改进并提出一种新颖框架，通过利用参数化 3DMM 模型，能够重建高保真可驱动人脸化身并成功处理未见过的表情。我们实现的核心在于结构化位移特征与语义感知学习模块。我们的结构化位移特征将通过构建位移体引入运动先验作为额外约束，并帮助在未见过的表情上表现更好。此外，语义感知学习融合了多级先验，例如语义嵌入、可学习隐码，将性能提升至更高水平。我们进行了详尽的定量与定性实验以证明框架设计，且我们的方法取得了远优于当前最先进（state-of-the-art, SOTA）方法的结果。
引用
@article{arxiv.2306.10350,
title = {MA-NeRF: Motion-Assisted Neural Radiance Fields for Face Synthesis from Sparse Images},
author = {Weichen Zhang and Xiang Zhou and Yukang Cao and Wensen Feng and Chun Yuan},
journal= {arXiv preprint arXiv:2306.10350},
year = {2023}
}