面向可迁移操作技能发现的无监督强化学习

当前机器人领域的强化学习（RL）常因固有的特定任务训练范式而难以泛化到新的下游任务。为缓解该问题，无监督 RL 作为一种以任务无关方式、在无特定任务奖励条件下预训练智能体的框架，利用主动探索将多样经验提炼为关键技能或可复用知识。为在机器人操作中也利用此类优势，我们提出一种可迁移操作技能发现的无监督方法，将面向交互行为的结构化探索与可迁移技能学习相结合。该方法不仅使智能体能够在无环境奖励条件下学习交互行为（机器人操作学习的关键方面），还能利用所学任务无关技能泛化到任意下游操作任务。通过对比实验，我们表明我们的方法实现了最多样的交互行为，并显著提升了包括多物体、多任务问题扩展在内的下游任务的样本效率。