面向扩散规划器的状态覆盖轨迹拼接

基于扩散的生成模型正成为强化学习（RL）中长程规划的强大工具，尤其是在离线数据集方面。然而，其性能从根本上受限于训练数据的质量和多样性。这通常限制了它们对训练分布之外的任务或更长规划时程的泛化能力。为克服这一挑战，我们提出了状态覆盖轨迹拼接（SCoTS），这是一种新颖的无奖励轨迹增强方法，通过逐步拼接短轨迹片段，系统地生成多样且扩展的轨迹。SCoTS 首先学习一个保持时间距离的潜在表示，以捕捉环境的底层时间结构，然后在方向探索和新颖性的引导下迭代拼接轨迹片段，以有效覆盖并扩展该潜在空间。我们证明，SCoTS 显著提升了扩散规划器在需要拼接和长程推理的离线目标条件基准上的性能和泛化能力。此外，由 SCoTS 生成的增强轨迹显著提高了广泛使用的离线目标条件 RL 算法在不同环境中的性能。