基于最优传输的零样本离线模仿学习
机器学习
2025-06-13 v3
摘要
零样本模仿学习算法有望能够仅凭一个演示即可在测试时间复现未见的行为。现有的实用方法将专家演示视为一系列目标，从而通过高级目标选择器和低级目标条件策略进行模仿。然而，这种框架可能受到局限性行为的影响：智能体针对实现单个目标的即时动作，可能会损害长期目标。我们引入了一种新方法，通过直接优化固有的模仿学习中的占有率匹配目标来缓解这一问题。我们提出将目标条件价值函数提升为占有率之间的距离，而这些占有率则通过学习的世界模型进行近似。最终的方法能够从离线、次优数据中学习，并能够进行非局部、零样本模仿，我们将在复杂的连续基准测试中进行演示。代码已在 https://github.com/martius-lab/zilot 上提供。
引用
@article{arxiv.2410.08751,
title = {Zero-Shot Offline Imitation Learning via Optimal Transport},
author = {Thomas Rupf and Marco Bagatella and Nico Gürtler and Jonas Frey and Georg Martius},
journal= {arXiv preprint arXiv:2410.08751},
year = {2025}
}