D-NPC：用于单摄像机视频的动态神经点云非刚性视图合成

动态重建和非刚性变形场景的时空新视图合成最近受到 increased attention。虽然现有方法在多视图或瞬移相机设置下取得了惊人的质量和性能，但大多数方法无法有效且忠实地从随意的单摄像机捕获中恢复运动和外观。本文通过引入一种新的方法，实现了从单摄像机视频（如随意的智能手机捕获）进行动态新视图合成。我们的 approach 将场景表示为动态神经点云（dynamic neural point cloud），这是一种时序条件的点分布，编码了静态和动态区域中局部几何和外观的单独的哈希编码神经特征网格。通过对我们的模型进行离散点云采样，我们可以利用快速可微光栅化器和神经渲染网络高效地渲染高质量的新视图。类似于最近的工作，我们通过整合数据驱动的先验知识，如单摄像机深度估计和目标分割，来解决单摄像机捕获中产生的运动和深度歧义。除了指导优化过程外，我们还展示了这些先验知识可以被用来显式初始化我们的场景表示，以大幅提高优化速度和最终图像质量。通过实验评估，我们的动态点云模型不仅实现了快速优化和交互式应用的实时帧率，还在单摄像机基准序列上实现了具竞争力的图像质量。我们的代码和数据已在线提供：https://moritzkappel.github.io/projects/dnpc/。