利用潜在空间先验从示范中学习

示范提供了关于相关状态或动作空间区域的洞察，具有提升强化学习智能体效率与实用性的巨大潜力。在本工作中，我们提出通过结合技能学习与序列建模来利用示范数据集。从一个学习到的联合潜在空间开始，我们分别训练一个示范序列的生成模型和一个配套的低层策略。该序列模型在合理的示范行为上形成潜在空间先验，以加速高层策略的学习。我们展示了如何从仅包含状态的动捕示范中获取此类先验，并探索了将其整合到迁移任务策略学习中的几种方法。我们的实验结果证实，潜在空间先验在学习速度和最终性能上带来了显著提升。我们在一组具有复杂模拟人形机器人的挑战性稀疏奖励环境中对所提方法进行了基准测试，并在用于导航和物体操作的离线强化学习基准上进行了测试。视频、源代码和预训练模型可在项目网站 https://facebookresearch.github.io/latent-space-priors 获取。