基于Davenport链式旋转的分层强化学习用于手中机器人操作

端到端强化学习技术是机器人操作任务中最成功的方法之一。然而，寻找能够解决复杂任务的良好策略所需的训练时间大得令人望而却步。因此，根据可用的计算资源，使用此类技术可能不可行。利用领域知识将操作任务分解为按顺序执行的基元技能，可降低学习问题的整体复杂性，从而减少实现灵巧性所需的训练量。在本文中，我们提出使用Davenport链式旋转将复杂的3D旋转目标分解为一组更小的简单旋转技能的拼接。然后，最先进的基于强化学习的方法可以使用更少的整体模拟经验进行训练。我们将其性能与流行的Hindsight Experience Replay（事后经验回放，HER）方法进行比较，后者在相同经验的模拟机器人手环境中以端到端方式训练。尽管基元技能在顺序执行时性能普遍下降，我们发现将任意3D旋转分解为基本旋转在计算资源有限时是有益的，相对于以端到端方式训练的HER所获得的成功率，在最复杂3D旋转上成功率提高约10%，在最简单旋转上成功率提高20%至40%。