基于适应硬件约束的模仿学习的可变形物体动态操作

模仿学习 (Imitation Learning, IL) 是学习可变形物体动态操作的一种极具前景的范式,因为它不依赖于难以创建的此类物体的精确仿真。然而,由于具身差异和机器人的物理极限,将人类演示的运动转化给机器人是 IL 面临的一项挑战。这些极限在以高速度和高加速度为典型特征的动态操作中尤为关键。为了解决这个问题,我们提出了一个框架,首先使用受约束的动态运动原语将动态演示映射为遵守机器人约束的运动。其次,通过准静态细化运动进一步优化生成的物体状态,以优化任务性能指标。这允许通过动态运动高效改变物体状态,并进行稳定的小尺度细化。我们在极具挑战性的开袋任务中评估了该框架,设计了 BILBO 系统:用于开袋的双臂动态操作模仿学习。我们的结果表明,BILBO 能够使用单个袋子的演示成功打开各种皱缩的袋子。补充材料请见 https://sites.google.com/view/bilbo-bag。