基于高斯溅写的颗粒介质操控的高斯溅写视觉模型预测控制

近期在学习的3D表示方面的进展，使解决复杂机器人操控任务取得了显著进展，尤其是针对刚性物体。然而，操控颗粒材料如豆类、坚果和米饭，仍然具有挑战性，因为其粒子相互作用的复杂物理、高维且部分可观测的状态、无法在堆中视觉跟踪单个粒子，以及准确动力学预测的计算需求。当前的深度潜在动力学模型在颗粒材料操控中往往难以泛化，因为缺乏归纳偏置。本文提出一种新方法，通过在颗粒介质操控的场景上学习基于高斯溅写的视觉动力学模型，并利用该模型进行模型预测控制。该方法使能够高效优化颗粒介质堆的复杂操控任务。我们在仿真和实际环境中评估了该方法，展示了其解决未见规划任务的能力，以及在零样本迁移中对新环境的泛化能力。我们还显示了相对于现有颗粒材料操控方法的显著预测和操控性能提升。