基于示例的批量探索用于可扩展机器人强化学习

从多样化的离线数据集中学习是通向通用机器人智能体的有前景的路径。然而，这一范式中的核心挑战在于收集大量有意义的数据，同时不依赖人工参与数据收集。解决该挑战的一种途径是任务无关探索，即智能体在无任务特定奖励函数的情况下尝试探索，并收集对任何下游任务有用的数据。尽管这些方法在简单领域展现出一定前景，它们常常难以在更具挑战性的设置（如基于视觉的机器人操作）中探索状态空间的相关区域。该挑战源于鼓励探索潜在广阔状态空间中一切事物的目标。为缓解此挑战，我们提出利用弱人类监督将探索聚焦于状态空间的重要部分。具体而言，我们提出一种探索技术——基于示例的批量探索（BEE），其在少量人类提供的重要状态图像引导下探索状态空间的相关区域。这些人类提供的图像仅需在数据收集开始时收集一次，且可在数分钟内完成，使我们能够可扩展地收集多样化数据集，随后该数据集可与任意批量 RL 算法结合。我们发现 BEE 能够在仿真和真实 Franka 机器人上处理具有挑战性的基于视觉的操作任务，并观察到与任务无关和弱监督探索技术相比，它（1）与相关物体的交互频率超过两倍，（2）在与离线 RL 结合使用时提升下游任务性能。