从简单技能到复杂技能：以手中物体重定向为例

在仿真中学习策略并将其迁移到现实世界已成为灵巧操作的一种有前景的方法。然而，为每个新任务弥合仿真到现实的差距需要大量人力，例如仔细的奖励工程、超参数调整和系统辨识。在这项工作中，我们提出了一种利用低级技能来应对这些更复杂任务挑战的系统。具体来说，我们引入了一种基于先前获得的旋转技能的分层策略，用于手中物体重定向。该分层策略学习根据环境和低级技能策略本身的反馈来选择执行哪个低级技能。与从头学习相比，分层策略对分布外变化更具鲁棒性，并且易于从仿真迁移到现实世界环境。此外，我们提出了一种可泛化的物体姿态估计器，它利用本体感觉信息、低级技能预测和控制误差作为输入，随时间估计物体姿态。我们证明了我们的系统可以将物体（包括对称和无纹理的物体）重定向到期望姿态。