在扩散策略中融入对称性的实用指南

最近，用于策略学习的等变神经网络在样本效率和泛化性方面展现出有前景的改进，然而其广泛采用因实现复杂性面临重大障碍。等变架构通常需要专门的数学公式和自定义网络设计，在与现代策略框架（如基于扩散的模型）集成时构成重大挑战。在本文中，我们探索了一系列简单实用的方法，在不引入完整等变设计的开销的情况下将对称性优势融入扩散策略。具体而言，我们研究了（i）通过相对轨迹动作和眼在手感知实现不变表示，（ii）集成等变视觉编码器，以及（iii）使用帧平均的预训练编码器进行对称特征提取。我们首先证明，将眼在手感知与相对或增量动作参数化相结合，可产生固有的SE(3)-不变性，从而提高策略泛化性。随后我们对扩散策略中集成对称性的那些设计选择进行了系统的实验研究，得出结论：不变表示配合等变特征提取显著提升了策略性能。我们的方法在性能上达到或超过完整等变架构，同时大幅简化了实现。