利用目标条件化 Transporter 网络学习重排可变形缆线、布料与袋子

重排并操控缆线、布料和袋子等可变形物体是机器人操作中的长期挑战。与刚体相比，可变形体的复杂动力学和高维构型空间使得操作不仅难以进行多步规划，甚至难以进行目标指定。目标无法像刚体位姿那样轻易指定，并可能涉及复杂的相对空间关系，例如“将物品放入袋中”。本工作中，我们开发了一套包含一维、二维和三维可变形结构的仿真基准，涉及基于图像的目标条件化任务与多步可变形操作。我们提出将目标条件化嵌入 Transporter Networks——一种近期提出的用于学习机器人操作的模型架构，其通过重排深度特征来推断可表示抓取与放置动作的位移。在仿真与实物实验中，我们证明目标条件化 Transporter Networks 使智能体能够将可变形结构操控至灵活指定的配置，而无需在测试时为目标位置提供视觉锚点。我们还通过在含二维和三维可变形体的任务上测试，显著扩展了先前利用 Transporter Networks 操控可变形物体的结果。补充材料见 https://berkeleyautomation.github.io/bags/。