基于最优传输的模仿学习中专家示范组合方法研究
机器学习
2023-07-21 v1 人工智能
摘要
模仿学习(IL)旨在通过专家示范来教导智能体完成特定任务。IL的关键方法之一是定义智能体与专家之间的距离,并寻找使该距离最小的智能体策略。最优传输方法已广泛应用于模仿学习中,因为它们提供了衡量智能体与专家轨迹之间有意义距离的方式。然而,如何最优地组合多个专家示范这一问题尚未被广泛研究。标准方法只是简单地将状态(动作)轨迹拼接起来,当轨迹为多模态时这种方法存在问题。我们提出了一种替代方法,该方法使用多边际最优传输距离,并能够在最优传输意义上组合多个不同的状态轨迹,从而提供更具合理性的几何平均示范。我们的方法使智能体能够从多位专家中学习,其效率在OpenAI Gym控制环境中得到分析,并表明标准方法并非总是最优的。
引用
@article{arxiv.2307.10810,
title = {On Combining Expert Demonstrations in Imitation Learning via Optimal Transport},
author = {Ilana Sebag and Samuel Cohen and Marc Peter Deisenroth},
journal= {arXiv preprint arXiv:2307.10810},
year = {2023}
}