基于相似度的跨域强化学习知识迁移

在跨域强化学习中迁移知识是一个具有挑战性的设定，通过复用来自具有不同观测和/或动作空间任务的知识来加速学习。然而，通常需要仔细选择知识源，以便接收端能从迁移过程中受益。在本文中，我们研究如何测量跨域强化学习任务之间的相似度，以选择能提高学习智能体性能的知识源。我们开发了一种半监督对齐损失，利用一组编码器-解码器匹配不同空间，并使用它们来测量相似度并跨任务迁移策略。与先前的工作相比，我们的方法不要求数据由专家策略对齐、配对或收集。在一系列不同的 Mujoco 控制任务上的实验结果表明，我们的方法在有效选择和迁移知识方面具有鲁棒性，无需定制源任务集的监督。