Forecaster：面向基于像素的时序抽象树搜索规划
人工智能
2023-10-17 v1 机器学习
系统与控制
系统与控制
摘要
在多种抽象层级上进行规划的能力使智能体能够预想其决策的长期影响，从而实现样本高效的学习。这在诸如像素等高维状态空间的复杂环境中尤为有益，此类环境中目标遥远且奖励稀疏。我们提出 Forecaster，一种深度分层强化学习方法，其利用时序抽象世界模型对高层目标进行规划。Forecaster 通过在抽象层级建模转移动态并基于此转移训练世界模型，来学习环境的抽象模型。随后它使用该世界模型通过树搜索规划过程选择最优高层目标。它还训练了一个学习达成这些目标的低层策略。我们的方法不仅实现了构建更长视野的世界模型，还能在下游任务中使用此类模型进行规划。我们在 AntMaze 领域中通过实证展示了 Forecaster 在单任务学习及泛化到新任务上的潜力。
引用
@article{arxiv.2310.09997,
title = {Forecaster: Towards Temporally Abstract Tree-Search Planning from Pixels},
author = {Thomas Jiralerspong and Flemming Kondrup and Doina Precup and Khimya Khetarpal},
journal= {arXiv preprint arXiv:2310.09997},
year = {2023}
}