学习用于布料平整的可见连通性动力学

由于布料动力学复杂、缺乏低维状态表示以及自身遮挡，布料的机器人操控对机器人学而言仍具挑战性。与以往学习基于像素的动力学模型或压缩潜向量动力学的基于模型的方法不同，我们提出从部分点云观测中学习基于粒子的动力学模型。为克服部分可观测性的挑战，我们推断底层布料网格上哪些可见点相互连通，然后在此可见连通性图上学习动力学模型。相较于以往基于学习的方法，我们的模型以其基于粒子的表示为学习底层布料物理提供了强归纳偏置；它对视觉特征具有不变性；且预测更易可视化。我们表明，在仿真中我们的方法大幅优于以往最先进的基于模型与无模型的强化学习方法。此外，我们展示了零样本仿真到真实的迁移：将在仿真中训练的模型部署于Franka机械臂，并表明该模型能成功将不同类型布料从褶皱状态平整。视频可在我们的项目网站查看。