作为图的世界模型：学习潜在路标用于规划
人工智能
2021-07-02 v3
摘要
规划——即在大尺度上分析问题结构并将其分解为相互关联的子问题的能力——是人类智能的标志。尽管深度强化学习（RL）在解决相对简单的控制任务方面已展现出巨大潜力，但如何最好地将规划融入现有深度 RL 范式以应对日益复杂的环境，仍是一个开放问题。一个突出的框架，基于模型的 RL，学习一个世界模型并使用逐步虚拟展开进行规划。这类世界模型在规划时域增加时很快偏离现实，因而难以进行长时域规划。我们如何学习能够赋予智能体进行时间扩展推理能力的世界模型？在这项工作中，我们提出学习由稀疏的多步转移组成的图结构世界模型。我们设计了一种新颖的算法来学习在目标空间中（就可达性而言）分散的潜在路标，作为图上的节点。在同一图中，边是从 Q 函数提炼出的可达性估计。在从机器人操作到导航的一系列高维连续控制任务上，我们证明了我们的方法（名为 L3P）显著优于先前工作，并且往往是唯一能够同时利用无模型 RL 的鲁棒性和图搜索算法泛化能力的方法。我们相信我们的工作是迈向强化学习中可扩展规划的重要一步。
引用
@article{arxiv.2011.12491,
title = {World Model as a Graph: Learning Latent Landmarks for Planning},
author = {Lunjun Zhang and Ge Yang and Bradly C. Stadie},
journal= {arXiv preprint arXiv:2011.12491},
year = {2021}
}