用于单目非刚性物体重建的神经参数化高斯

从单目视频中重建动态物体是一个严重欠约束且具有挑战性的问题，近期的工作从不同方向对其进行了探索。然而，由于该问题的病态性质，目前还没有一种解决方案能够在与训练视角显著不同的相机位置下提供一致且高质量的新视角。在本工作中，我们引入了神经参数化高斯 (NPGs) 来应对这一挑战，通过施加一种两阶段方法：首先，我们拟合一个低秩神经形变模型，随后在第二阶段将其用作非刚性重建的正则化。第一阶段学习物体的形变，使其在新视角中保持一致性。第二阶段通过优化由粗糙模型驱动的 3D 高斯来获得高重建质量。为此，我们引入了一种局部 3D 高斯表示，其中时间共享的高斯锚定在局部有向体积中并由其形变。由此产生的组合模型可以作为辐射场进行渲染，从而实现非刚性形变物体的高质量照片级真实感重建。我们证明，与先前的工作相比，NPGs 取得了更优的结果，尤其是在缺乏多视角线索的挑战性场景中。