基于所学解耦目标空间的好奇驱动探索

内在动机目标探索过程使智能体能够自主采样目标，以在高维连续动作复杂环境中高效探索。它们已成功应用于真实世界机器人，以发现产生广泛多样性效果的策略库。这些算法通常依赖于精心设计的目标空间，但最近研究表明，可以在简单环境中使用深度表示学习算法学习充分的目标空间。然而，在包含多个物体或干扰物的更复杂环境情况下，高效探索要求目标空间的结构反映环境的结构。在本文中，我们展示使用解耦目标空间比纠缠目标空间带来更好的探索性能。我们进一步展示，当表示被解耦时，可以通过以模块化方式采样最大化学习进展的目标来利用它。最后，我们展示用于驱动好奇驱动探索的学习进展度量，可同时用于发现环境中抽象的独立可控特征。