MoFaNeRF：可形变人脸神经辐射场
计算机视觉与模式识别
2022-07-25 v2 图形学
摘要
我们提出一种参数化模型，利用神经辐射场将自由视角图像映射到编码人脸形状、表情与外观的向量空间，即可形变人脸 NeRF（Morphable Facial NeRF）。具体而言，MoFaNeRF 将编码的人脸形状、表情与外观连同空间坐标与视角方向作为输入送入一个多层感知机（MLP），并输出空间点的辐射以进行照片级真实感图像合成。与传统的三维可形变模型（3DMM）相比，MoFaNeRF 即使在眼睛、嘴巴和胡须等区域也能直接合成照片级真实感人脸细节，表现出优越性。此外，通过对输入的形状、表情与外观编码进行插值，可轻松实现连续的人脸变形。通过引入身份特定调制与纹理编码器，我们的模型合成出准确的光度细节并展现出强大的表征能力。我们的模型在包括基于图像的拟合、随机生成、人脸绑定、人脸编辑以及新视角合成在内的多种应用中表现出色。实验表明，我们的方法比先前的参数化模型具有更高的表征能力，并在若干应用中取得具有竞争力的性能。据我们所知，我们的工作是首个构建于神经辐射场之上、可用于拟合、生成与操控的人脸参数化模型。代码与数据见 https://github.com/zhuhao-nju/mofanerf。
引用
@article{arxiv.2112.02308,
title = {MoFaNeRF: Morphable Facial Neural Radiance Field},
author = {Yiyu Zhuang and Hao Zhu and Xusen Sun and Xun Cao},
journal= {arXiv preprint arXiv:2112.02308},
year = {2022}
}
备注
accepted to ECCV2022; code available at http://github.com/zhuhao-nju/mofanerf