通过图表示将空间信息融入目标条件分层强化学习
机器学习
2025-11-17 v1 人工智能
摘要
将图与目标条件分层强化学习（GCHRL）相结合最近受到关注，因为中间目标（子目标）可以从自然表示整体任务结构的图中有效采样。然而，现有方法通常依赖于特定领域知识来构建这些图，限制了其在新任务中的适用性。另一些基于图的方法在探索期间动态创建图，但难以充分利用它们，因为它们在处理将图信息传递给新访问状态方面存在困难。此外，当前的GCHRL方法面临样本效率低和子目标表示不足的挑战。本文通过开发图编码-解码器来评估未见状态，提出了解题方案。我们提出的方法称为Graph-Guided sub-Goal representation Generation RL（G4RL），可在环境中主要具有对称和可逆转换的情形下，整合到任何现有的GCHRL方法中，以提高该类问题的性能。我们表明，图编码-解码器可以有效实现为在探索期间生成的状态图上训练的网络。实验结果表明，利用来自图编码-解码器的高层和低层内在奖励，显著提升了在稠密和稀疏奖励环境中最先进GCHRL方法的性能，同时仅增加少量计算开销。
引用
@article{arxiv.2511.10872,
title = {Incorporating Spatial Information into Goal-Conditioned Hierarchical Reinforcement Learning via Graph Representations},
author = {Shuyuan Zhang and Zihan Wang and Xiao-Wen Chang and Doina Precup},
journal= {arXiv preprint arXiv:2511.10872},
year = {2025}
}
备注
Transactions on Machine Learning Research (2025)