基于 Graph-Assisted Stitching 的离线层次强化学习
机器学习
2025-07-08 v3 人工智能
机器人学
摘要
现有的离线层次强化学习方法依赖高层策略学习生成 subgoal 序列，但随着任务时程增长，其效率会下降，且缺乏有效的策略来拼接不同轨迹中有用的状态转换。我们提出 Graph-Assisted Stitching (GAS)，一种将 subgoal 选择形式化为图搜索问题的新框架，而非学习显式的高层策略。通过将状态嵌入 Temporal Distance Representation (TDR) 空间，GAS 将来自不同轨迹中语义相似的状态聚类到统一的图节点，从而实现高效的转换拼接。随后应用最短路径算法在图中选择 subgoal 序列，while 低层策略学习到达这些 subgoal。为提高图的质量，我们引入 Temporal Efficiency (TE) 指标，该指标筛选出噪声或低效的状态转换，显著提升任务性能。GAS 在 locomotion、navigation 和 manipulation 任务上均优于先前的离线 HRL 方法。值得注意的是，在最依赖拼接的任务中，它实现了 88.3 的分数，显著超过了之前的 SOTA 分数 1.0。我们的源代码可在 https://github.com/qortmdgh4141/GAS 查阅。
引用
@article{arxiv.2506.07744,
title = {Graph-Assisted Stitching for Offline Hierarchical Reinforcement Learning},
author = {Seungho Baek and Taegeon Park and Jongchan Park and Seungjun Oh and Yusung Kim},
journal= {arXiv preprint arXiv:2506.07744},
year = {2025}
}
备注
ICML 2025