MonoNPHM：从单目视频进行动态头部重建

我们提出了单目神经参数化头部模型 (MonoNPHM)，用于从单目 RGB 视频进行动态 3D 头部重建。为此，我们提出了一个潜在外观空间，该空间在神经参数化模型之上参数化了一个纹理场。我们约束预测的颜色值与底层几何相关联，使得来自 RGB 的梯度在逆向渲染过程中有效影响潜在几何编码。为了增加我们表情空间的表示能力，我们用超维度增强了后向变形场，从而改善了在拓扑上具有挑战性的表情中的颜色和几何表示。使用 MonoNPHM 作为学习先验，我们通过基于符号距离场的体积渲染来处理 3D 头部重建任务。通过数值反演我们的后向变形场，我们引入了一个使用面部锚点的关键点损失，这些锚点与我们的规范几何表示紧密相关。为了评估从单目 RGB 视频进行动态面部重建的任务，我们在日常条件下录制了 20 个具有挑战性的 Kinect 序列。MonoNPHM 以显著优势超越了所有基线方法，并朝着通过 RGB 跟踪实现易于访问的神经参数化面部模型迈出了重要一步。