DNPM：用于合成面部几何细节的神经参数模型
计算机视觉与模式识别
2024-06-17 v2
摘要
参数化3D模型已使计算机视觉和图raphics领域的众多任务得以实现，例如建模人脸、身体和手部。在3D人脸建模中，3DMM是最常用的参数模型，但无法仅凭身份和表情输入生成细微几何细节。为解决这一限制，我们提出一种名为DNPM的神经参数模型，用于面部几何细节，该模型利用深度神经网络从编码细节和皱纹的面部位移图中提取潜在代码。基于DNPM，我们提出一种新型3DMM，称为Detailed3DMM，通过包含仅来自身份和表情输入的面部细节合成，增强了传统3DMM。此外，我们展示了DNPM和Detailed3DMM如何促进两个下游应用：语音驱动的详细3D人脸动画和来自退化图像的3D人脸重建。大量实验表明，DNPM和Detailed3DMM的有用性，以及两个提议应用的渐进性。
引用
@article{arxiv.2405.19688,
title = {DNPM: A Neural Parametric Model for the Synthesis of Facial Geometric Details},
author = {Haitao Cao and Baoping Cheng and Qiran Pu and Haocheng Zhang and Bin Luo and Yixiang Zhuang and Juncong Lin and Liyan Chen and Xuan Cheng},
journal= {arXiv preprint arXiv:2405.19688},
year = {2024}
}