基于图神经网络的动态 3D 高斯跟踪用于图神经网络动态建模

机器人与物体交互的视频包含丰富的物体动态信息。然而，现有的视频预测方法通常不显式地考虑视频中的 3D 信息，如机器人动作和物体的 3D 状态，限制了其在实际机器人应用中的使用。在本工作中，我们引入了一个框架，通过显式考虑机器人动作轨迹及其对场景动态的影响，从多视角 RGB 视频中直接学习物体动态。我们利用 3D 高斯表示（3DGS）来训练基于图神经网络的粒子动力学模型。该模型 operates on稀疏控制粒子，对密集跟踪的 3D 高斯重建进行下采样。通过在离线机器人交互数据上学习神经动力学模型，我们的方法可以在不同的初始配置和未出现的机器人动作下预测物体运动。3D 高斯的变换可以从控制粒子的运动中插值，从而实现对预测未来物体状态的渲染，实现动作条件视频预测。该动力学模型还可用于建模基准规划框架以完成物体操控任务。我们在各种可变形材料（包括绳子、衣物和充气玩具）上进行实验，展示了该框架对复杂形状和动态的建模能力。我们的项目页面位于 https://gs-dynamics.github.io。