基于动态3D高斯的关节物体部分分割与运动估计

部分分割与运动估计是关节物体运动分析中的两个基本问题。本文提出了一种方法，从单一关节物体的观测点云序列中联合解决这两个问题。我们问题设置的主要挑战在于，点云不假设由固定的一组运动点生成。相反，序列中每个点云可能是该时间步该物体表面任意抽样的结果。当物体发生严重遮挡，或数据集是使用来自多个传感器的异步测量收集时，就会出现此类情形。在此类情形下，依赖于跟踪点对应关系的方法并不适合。我们提出了一种替代方法，基于一种紧凑而有效的表示方式，其中我们将物体表示为由简单构建块建模的3D高斯集合。我们使用随时间变化的旋转、平移和尺度参数化这些高斯，这些参数在所有时间步中共享。通过我们的表示，可以通过在观察点和高斯之间建立对应关系来实现部分分割。此外，可以通过跟随分配给每个点的高斯的姿态来获得该点跨时间的变换（即使该点未被观察到）。实验表明，我们的方法优于仅依赖寻找点对应关系的现有方法。我们进一步扩展了现有数据集，以模拟视角遮挡的真实场景。我们进一步在这些具有挑战性的数据集上演示了我们的方法对缺失点的鲁棒性，即使在某些时间步中某些部分完全遮挡也能正常工作。值得注意的是，我们的部分分割性能在点云遮挡时优于最新方法提高了13%。