NPGA：神经参数化高斯虚拟化身

创建高保真数字版人类头部是将虚拟组件进一步融入日常生活中的重要基石。构建此类虚拟化身是一个具有挑战性的研究问题，因为需要高度逼真和实时渲染性能。本文提出神经参数化高斯虚拟化身（NPGA），一种从多视角视频记录创建高保真、可控虚拟化身的数据驱动方法。我们以三维高斯泼溅为基础构建方法，因其高效渲染能力，并继承点云的拓扑灵活性。与先前工作不同，我们将虚拟化身的动态条件建立在神经参数化头部模型（NPHM）丰富的表情空间上，而非基于网格的三维形变模型（3DMM）。为此，我们将底层NPHM的后向变形场蒸馏为与基于光栅化渲染兼容的前向变形。所有剩余的细粒度、与表情相关的细节均从多视角视频中学习。为增加虚拟化身的表示能力，我们提出每个高斯具有潜在特征，以调节每个基元的动态行为。为规范这种增加的动态表达能力，我们在潜在特征和预测动态上引入拉普拉斯项。我们在公开的NeRSemble数据集上评估方法，结果表明NPGA在自我重演任务上显著优于先前最先进的虚拟化身，PSNR提升2.6。此外，我们展示了从真实世界单目视频进行精确动画的能力。