面向离散网格的基于状态抽象的解耦分层强化学习
机器学习
2025-06-04 v1 人工智能
摘要
在复杂离散状态空间环境中，有效的智能体探索仍然是强化学习（RL）的核心挑战，尤其是在部分可观测条件下。本文提出了一种集成状态抽象的解耦分层 RL 框架（DcHRL-SA）来解决这一问题。该方法采用双层架构，由基于 RL 的高层执行者和基于规则的低层策略组成，以促进有效探索。此外，引入状态抽象方法对离散状态进行聚类，有效降低了状态维度。在两个定制的离散网格环境中进行的实验表明，所提出的方法在探索效率、收敛速度、累积奖励和策略稳定性方面始终优于 PPO。这些结果展示了一种在具有大规模探索空间的离散网格中集成解耦分层策略和状态抽象的实用方法。代码将在 https://github.com/XQY169/DcHRL-SA 上提供。
引用
@article{arxiv.2506.02050,
title = {Decoupled Hierarchical Reinforcement Learning with State Abstraction for Discrete Grids},
author = {Qingyu Xiao and Yuanlin Chang and Youtian Du},
journal= {arXiv preprint arXiv:2506.02050},
year = {2025}
}
备注
6 pages, 6 figures