基于结构信息的分层扩散用于离线强化学习

基于扩散的生成方法在离线强化学习（RL）数据集的轨迹建模方面展现出巨大潜力，且分层扩散已被引入以缓解长时程规划任务中的方差累积和计算挑战。然而，现有方法通常假设具有单一预定义时间尺度的固定双层扩散层次，这限制了对不同下游任务的适应性并降低了决策的灵活性。在这项工作中，我们提出了 SIHD，一种新颖的基于结构信息的分层扩散框架，用于在具有稀疏奖励的长时程环境中进行有效且稳定的离线策略学习。具体而言，我们分析离线轨迹中嵌入的结构信息以自适应地构建扩散层次，从而实现跨多个时间尺度的灵活轨迹建模。我们不依赖局部子轨迹的奖励预测，而是量化每个状态社区的结构信息增益，并将其用作相应扩散层内的条件信号。为了减少对离线数据集的过度依赖，我们引入了结构熵正则化器，鼓励探索代表性不足的状态，同时避免分布偏移导致的外推误差。在具有挑战性的离线 RL 任务上的广泛评估表明，SIHD 在决策性能上显著优于最先进的基线方法，并在不同场景中展现出卓越的泛化能力。