利用对比估计学习可变形对象的预测性表示

由于难以学习可规划的视觉表示以及复杂的动态模型，将基于视觉的模型学习方法用于可变形对象操控具有挑战性。在这项工作中，我们提出了一种新的学习框架，利用对比估计联合优化视觉表示模型和动态模型。使用通过在桌面上随机扰动可变形对象收集的仿真数据，我们以离线方式学习这些对象的潜在动态模型。然后，利用学习到的模型，我们使用简单的基于模型的规划来解决诸如展开绳索和布料等具有挑战性的可变形对象操控任务。在实验中，我们在绳索和布料操控套件上展示了相对于标准基于模型的学习技术的显著性能提升。最后，我们通过域随机化将纯粹在仿真中收集的数据上训练的视觉操控策略迁移到真实的PR2机器人上。