从像素中学习潜在动力学以进行规划

规划在已知环境动力学的控制任务中已非常成功。为了在未知环境中利用规划，智能体需要从与世界的互动中学习动力学。然而，学习足够精确以用于规划的动力学模型一直是一项长期挑战，尤其在基于图像的领域中。我们提出深度规划网络（PlaNet），一种纯基于模型的智能体，它从图像中学习环境动力学，并通过在潜在空间中的快速在线规划来选择动作。为达到高性能，动力学模型必须准确预测未来多个时间步的奖励。我们采用具有确定性和随机性转移组件的潜在动力学模型来实现这一点。此外，我们提出一种多步变分推断目标，称之为潜在越界（latent overshooting）。仅使用像素观测，我们的智能体解决了具有接触动力学、部分可观测性和稀疏奖励的连续控制任务，其难度超过了先前通过带学习模型的规划所解决的任务。PlaNet使用的回合数量显著更少，并达到接近且有时高于强无模型算法的最终性能。