扩散规划中的组合泛化需要什么？

在策略学习中，拼接（stitching）和组合泛化指的是策略将其训练数据中的子轨迹拼接在一起以生成新颖且多样化行为的能力。虽然拼接已被确认为离线强化学习的一项显著优势，但近期的生成式行为克隆（BC）方法也展示了拼接能力。然而，导致这一现象的主要因素尚不明确，阻碍了能够按设计可靠拼接的新算法的发展。我们聚焦于通过生成式行为克隆训练的扩散规划器，且不依赖动态规划或 TD 学习，发现三个特性是组合的关键使能因素：平移等变性、局部感受野和推理选择。我们利用这些特性来解释现有基于扩散规划的生成式 BC 方法中的架构、数据和推理选择，包括重规划频率、数据增强和数据缩放。我们的实验表明，虽然局部感受野在创建具备组合能力的扩散规划器方面比平移等变性更为重要，但两者都至关重要。基于实验发现，我们开发了一种新的扩散规划器架构 Eq-Net，该架构简单，能生成与重规划或数据缩放等计算代价更高的方法相媲美的多样化轨迹，并且可以引导以在目标条件设置中实现泛化。我们展示了 Eq-Net 在多种旨在测试规划多样性的导航和操作任务中表现出显著的组合泛化能力。