基于图搜索与检索的离线模仿学习

模仿学习是一种强大的机器学习算法，使机器人能够获取操作技能。然而，许多实际的操纵任务都涉及精确且灵巧的机器人-物体相互作用，这使得人类难以收集高质量的专家演示。因此，机器人必须从次优演示和非结构化的交互中学习技能，这仍然是一大挑战。现有的工作通常使用离线深度强化学习（RL）来解决这一挑战，但实际中这些算法由于死亡三角问题而不稳定且脆弱。为克服这一问题，我们提出了 GSR（Graph Search and Retrieval），这是一种简单而有效的算法，通过图搜索与检索从次优演示中学习。我们首先使用预训练的表示将交互经验组织成图谱，并进行图搜索以计算不同行为的值。然后，我们应用检索-based 的程序来识别每个状态下的最佳行为（动作），并使用行为克隆来学习该行为。我们在包含复杂视觉输入的仿真和真实世界机器人操纵任务中对方法进行评估，涵盖了各种精确且灵巧的操纵技能，以及不同物理属性的物体。GSR 的成功率比基线高出 10% 至 30%，熟练度高出 30% 以上。我们的项目页面位于 https://zhaohengyin.github.io/gsr。