基于子目标模型的goal-space规划
机器学习
2024-02-28 v5 人工智能
摘要
本文研究了一种使用背景规划（background planning）的基于模型的强化学习新方法：混合（近似）动态规划更新与无模型更新，类似于 Dyna 架构。使用学习模型的背景规划通常比无模型替代方法（如 Double DQN）更差，尽管前者使用了显著更多的内存与计算。其根本问题在于，学习到的模型可能不准确，并且经常生成无效状态，尤其是在多步迭代时。在本文中，我们通过将背景规划约束到一组（抽象）子目标并仅学习局部的、以子目标为条件的模型，来避免这一局限。这种 goal-space 规划（GSP）方法计算效率更高，自然地引入了时间抽象以实现更快的长程规划，并完全避免学习转移动态。我们展示了我们的 GSP 算法能够以有助于多种基础学习器在不同领域中显著更快学习的方式，从抽象空间传播价值。
引用
@article{arxiv.2206.02902,
title = {Goal-Space Planning with Subgoal Models},
author = {Chunlok Lo and Kevin Roice and Parham Mohammad Panahi and Scott Jordan and Adam White and Gabor Mihucz and Farzane Aminmansour and Martha White},
journal= {arXiv preprint arXiv:2206.02902},
year = {2024}
}