基于图像的灵巧操作：通过子步骤引导的自主真实世界强化学习

复杂且接触密集的机器人操作任务，特别是那些涉及多指手和欠驱动物体操作的任务，对任何控制方法都提出了重大挑战。基于强化学习的方法在此类设定中具有吸引力，因为它们能使机器人在没有强建模假设的情况下，学习精细平衡接触力并灵巧地重新定位物体。然而，在真实世界的灵巧操作系统上运行强化学习通常需要大量的手动工程。这抵消了强化学习原则上应提供的自主数据收集和易用性优势。在本文中，我们描述了一个基于视觉的灵巧操作系统，为用户提供了一种“无编程”方法来定义新任务，并使具有复杂多指手的机器人能够通过交互学习执行这些任务。我们系统的核心原则是，在基于视觉的设定中，用户应能够提供高层中间监督，从而规避遥操作或动觉示教中的挑战，使机器人不仅能高效学习任务，还能自主练习。我们的系统包含一个框架，供用户通过图像示例定义最终任务和中间子任务、一个无需干预即可自主学习任务的强化学习流程，以及使用四指机械手直接在真实世界中（无仿真、手动建模或奖励工程）学习多阶段物体操作任务的实验结果。