基于课程学习的多样化技能模仿
机器学习
2023-07-18 v1
摘要
通过模仿学习技能是机器人直观教学的一种有前景的思路。学习此类技能的常见方法是给定演示数据下通过最大化似然来学习参数化模型。然而，人类演示往往是多模态的，即同一任务以多种方式完成，这对大多数基于此类最大似然（ML）目标的模仿学习方法而言是主要挑战。ML 目标迫使模型覆盖所有数据，它阻碍了在上下文空间中的专门化，并可能在行为空间中导致模式平均，从而产生次优甚至灾难性的行为。在此，我们通过引入课程、为每个数据点赋予权重来缓解这些问题，使模型能专门化于其可表示的数据，同时通过熵奖励激励其尽可能覆盖数据。我们将算法扩展为（线性）专家混合（MoE），使单一组件可专门化于局部上下文区域，而 MoE 覆盖所有数据点。我们在复杂的仿真与真实机器人控制任务中评估了该方法，表明其能从多样化人类演示中学习，并显著优于当前 SOTA 方法。参考实现见 https://github.com/intuitive-robots/ml-cur
引用
@article{arxiv.2304.05171,
title = {Curriculum-Based Imitation of Versatile Skills},
author = {Maximilian Xiling Li and Onur Celik and Philipp Becker and Denis Blessing and Rudolf Lioutikov and Gerhard Neumann},
journal= {arXiv preprint arXiv:2304.05171},
year = {2023}
}