METRA：基于度量感知抽象的可扩展无监督强化学习

无监督预训练策略已在自然语言处理和计算机视觉中被证明极为有效。类似地，无监督强化学习（RL）有望发现多种潜在有用的行为，从而加速广泛下游任务的学习。先前的无监督 RL 方法主要关注纯探索与互信息技能学习。然而，尽管已有前述尝试，使无监督 RL 真正可扩展仍是一大开放挑战：纯探索方法可能在具有大状态空间的复杂环境中陷入困境，因为覆盖每个可能转移不可行；互信息技能学习方法可能因缺乏激励而完全无法探索环境。为使无监督 RL 可扩展到复杂、高维环境，我们提出一种新颖的无监督 RL 目标，称为度量感知抽象（METRA）。我们的核心思想是，不直接覆盖整个状态空间，而是仅覆盖一个通过时间距离与状态空间 $S$ 度量连接的紧凑潜空间 $Z$。通过学习在潜空间中向各个方向移动，METRA 获得一组可处理的多样行为，近似覆盖状态空间，并可扩展到高维环境。通过在五个运动与操作环境中的实验，我们证明 METRA 即使在复杂的基于像素的环境中也能发现多种有用行为，是首个在基于像素的 Quadruped 和 Humanoid 中发现多样运动行为的无监督 RL 方法。我们的代码与视频可在 https://seohong.me/projects/metra/ 获取。