3DMM-RF:用于三维人脸建模的卷积辐射场
计算机视觉与模式识别
2022-09-16 v1
摘要
面部三维可变形模型是计算机视觉的一个主要课题,有着无数应用,并在过去二十年中得到高度优化。深度生成网络的巨大进步为改进此类模型创造了多种可能,并引起了广泛兴趣。此外,神经辐射场的最新进展正在革新已知场景的新视角合成。在本工作中,我们提出一种面部三维可变形模型,它同时利用上述两者,并能准确建模主体的身份、姿态与表情,并在任意光照下渲染。这是通过利用强大的基于风格的深度生成器来克服神经辐射场的两个主要弱点——其刚性与渲染速度——而实现的。我们引入一种基于风格的生成网络,一次性合成神经辐射场所需且仅有所需的所有渲染样本。我们创建了一个庞大的带标签面部渲染合成数据集,并在这些数据上训练网络,使其能准确建模并泛化到面部身份、姿态与外观。最后,我们展示该模型可准确拟合任意姿态与光照下的“真实场景”面部图像,提取面部特征,并用于在可控条件下重新渲染人脸。
引用
@article{arxiv.2209.07366,
title = {3DMM-RF: Convolutional Radiance Fields for 3D Face Modeling},
author = {Stathis Galanakis and Baris Gecer and Alexandros Lattas and Stefanos Zafeiriou},
journal= {arXiv preprint arXiv:2209.07366},
year = {2022}
}