用于加速探索的潜状态表示学习

探索是强化学习中极具挑战性的问题，尤其是在高维状态与动作空间以及仅有稀疏奖励可用时。有效的表示可以指示状态的哪些分量与任务相关，从而降低待探索空间的维度。本工作从表示学习的视角看待探索，利用先验经验学习有效的潜表示，随后可借此指示应探索哪些区域。在独立但相关任务上的先验经验有助于学习能够有效预测即时奖励的状态表示。这些学到的表示随后可与基于熵的探索方法结合，通过有效降低搜索空间的维度，在高维空间中高效地进行探索。我们在模拟物体推动环境中展示了该表示在元探索中的益处。