基于能量引导的跨域扩散生成用于离动力学强化学习

离动力学离线强化学习旨在从大型源数据集和有限的目标数据集中，在动态不匹配的情况下学习目标域策略。现有方法如奖励增强和数据过滤受限于源数据集，无法合成新的目标行为以提高源轨迹之外的覆盖率。虽然最近的基于模型的方法试图通过学习目标感知动态来解决此问题，但生成的经验仅在转换层面构建，导致在长期预测中积累误差。这些限制使得轨迹水平生成对离动力学离线强化学习成为必然。我们提出了CEDGE（Cross-domain Energy-guided Diffusion GEneration framework），即跨域能量引导扩散生成框架。CEDGE在源域轨迹上训练轨迹扩散模型，并通过能量引导将生成样本适配到目标域。该引导通过最小化源域轨迹与所需目标域轨迹之间的分布不匹配得出，并分解为回报、域和行为能量分量。 resulting energy-guided trajectories既可用于直接规划，也可作为合成数据用于策略学习。由于目标适应通过能量引导而非重新训练扩散模型实现，CEDGE相对于先前方法能够更有效地适应新的目标动态。在ODRL基准上的实验表明，轨迹水平能量引导生成在动态偏移下的扩散规划方面取得改进，并产生用于改进下游目标策略学习的合成数据。