基于无标签含噪演示的程序化模仿学习
机器人学
2024-04-08 v4 编程语言
摘要
模仿学习(IL)是一种利用演示教机器人执行新任务的有前景范式。现有大多数 IL 方法使用神经网络(NN),然而这些方法存在若干众所周知的局限:1)需要大量训练数据,2)难以解释,3)难以修复与适配。程序化模仿学习(PIL)正日益受到关注,其在解决上述局限方面展现出重要前景。在 PIL 中,所学策略以编程语言表示,从而便于解释与修复。然而,最先进的 PIL 算法假设可获取动作标签,且难以从含噪的真实世界演示中学习。本文中,我们提出 PLUNDER,一种新颖的 PIL 算法,其在迭代期望最大化(EM)框架中集成概率程序合成器,以解决这些缺陷。与现有 PIL 方法不同,PLUNDER 合成概率程序化策略,特别适合对真实世界演示中固有的不确定性建模。我们的方法利用 EM 循环同时推断缺失的动作标签与最可能的概率策略。我们将 PLUNDER 与若干成熟 IL 技术进行基准比较,并证明其在五种含噪挑战性模仿学习任务中的优越性。PLUNDER 策略在匹配所给演示方面达到 95% 准确率,优于次优基线 19%。此外,PLUNDER 生成的策略完成任务的频率比最接近基线高 17%。
引用
@article{arxiv.2303.01440,
title = {Programmatic Imitation Learning from Unlabeled and Noisy Demonstrations},
author = {Jimmy Xin and Linus Zheng and Kia Rahmani and Jiayi Wei and Jarrett Holtz and Isil Dillig and Joydeep Biswas},
journal= {arXiv preprint arXiv:2303.01440},
year = {2024}
}