面向离线机器人学习的高效自监督数据收集

机器人强化学习的一种实用方法是：首先利用某种数据收集策略收集大批真实或模拟的机器人交互数据，然后使用离线学习算法从这些数据中学习执行各类任务。先前工作聚焦于手动设计数据收集策略，以及那些易于设计策略的任务，例如用于收集物体抓取数据的随机拾取策略。然而，对于更复杂的任务，可能难以找到能有效探索环境并产出足以支撑下游任务的多样性数据的数据收集策略。本工作中，我们提出数据收集策略应主动探索环境以收集多样数据。具体而言，我们开发了一种简单而有效的目标条件强化学习方法，其主动将数据采集聚焦于新颖观测，从而收集到多样化数据集。我们在带有视觉输入的模拟机器人操作任务上评估了该方法，表明主动数据收集所提升的多样性带来了下游学习任务上的显著改进。