基于轨迹级生成嵌入的观察行为下的模仿学习

我们考虑观察行为下的离线模仿学习，其中专家演示稀缺且可用的离线次优数据与专家行为相距甚远。许多现有的分布匹配方法在此情境下难以胜任，因为它们施加严格的支持约束并依赖脆弱的单步模型，难以从不完美的数据中提取有用信号。为解决这一挑战，我们提出了 TGE (Trajectory-level Generative Embedding)，一种用于离线模仿学习的轨迹级生成嵌入，通过估计在基于离线轨迹数据训练的时序扩散模型潜空间中的专家状态密度来构建稠密、平滑的代理奖励。凭借所学习扩散嵌入的平滑几何，TGE 捕获长期时序动力学，有效桥接离散支持，确保即使在离线数据分布与专家分布有显著差异时，仍能提供稳健的学习信号。经验上，所提出的方法在 D4RL locomotion 和操作基准测试中始终与或优于先前的离线模仿学习方法。