通过多视角探索最大化解决视觉控制问题

我们提出 MEM：多视角探索最大化（Multi-view Exploration Maximization），用于解决复杂的视觉控制任务。据我们所知，MEM 是首个在强化学习（RL）中将多视角表示学习与内在奖励驱动的探索相结合的方法。具体而言，MEM 首先提取多视角观测中的特定信息和共享信息，形成高质量特征，然后基于学习到的特征执行强化学习，使智能体能够充分理解环境并产生更好的动作。此外，MEM 基于熵最大化将多视角特征转化为内在奖励，以鼓励探索。因此，MEM 能够显著提升 RL 智能体的样本效率和泛化能力，有助于解决具有高维观测和稀疏奖励空间的现实世界问题。我们在 DeepMind Control Suite 和 Procgen 游戏的多种任务上评估了 MEM。大量仿真结果表明，MEM 能够以简单的架构和更高的效率实现卓越性能，并优于基准方案。