基于分解子目标扩散的层次化实体导向强化学习
机器学习
2026-02-04 v1 计算机视觉与模式识别
机器人学
摘要
我们提出了一种用于离线目标条件强化学习 (GCRL) 的层次化实体导向框架，结合子目标分解与分解结构，以解决多实体域中长期目标问题。强化学习中的长期目标问题始终是核心挑战。多实体域尤其困难，因为其组合复杂性。GCRL促进跨目标的泛化和子目标结构的使用，但在高维观察和组合状态空间方面，尤其在稀疏奖励下，仍面临挑战。我们采用由价值基GCRL智能体和分解子目标生成条件扩散模型组成的两级层次结构。RL智能体和子目标生成器独立训练，通过基于价值函数的选择性子目标生成进行后置组合，使方法模块化且兼容现有的GCRL算法。我们引入新的变体用于基准任务，以突出多实体域的挑战，表明该方法在基于图像的长期目标任务上稳定提升底层RL智能体性能，在稀疏奖励下的 hardest 任务上实现超过150%的成功率，并能推广到增加的时段和实体数量。 rollout视频请访问: https://sites.google.com/view/hecrl
引用
@article{arxiv.2602.02722,
title = {Hierarchical Entity-centric Reinforcement Learning with Factored Subgoal Diffusion},
author = {Dan Haramati and Carl Qi and Tal Daniel and Amy Zhang and Aviv Tamar and George Konidaris},
journal= {arXiv preprint arXiv:2602.02722},
year = {2026}
}
备注
ICLR 2026