学习可行性以模仿具有不同动力学的示范者
机器人学
2021-10-29 v1 机器学习
摘要
从演示中学习的目标是通过模仿演示中的行为为智能体（模仿者）学习策略。先前关于从演示中学习的工作假设演示由与模仿者具有相同动力学的示范者收集。然而，在许多现实应用中，这一假设具有局限性——为改善机器人学中数据缺乏的问题，我们希望能够利用由具有不同动力学的智能体收集的演示。这可能具有挑战性，因为演示甚至对模仿者而言可能不可行。我们的洞见是，我们可以学习一个可行性度量，捕捉演示对模仿者可行的可能性。我们开发了可行性 MDP（f-MDP），并通过在 f-MDP 中学习最优策略推导可行性分数。我们提出的可行性度量鼓励模仿者从信息更丰富的演示中学习，并忽略远离可行的演示。我们在四个仿真环境和真实机器人上的实验表明，用我们的方法学习的策略比先前工作获得了更高的期望回报。我们在网站（https://sites.google.com/view/learning-feasibility）展示了真实机器臂实验的视频。
引用
@article{arxiv.2110.15142,
title = {Learning Feasibility to Imitate Demonstrators with Different Dynamics},
author = {Zhangjie Cao and Yilun Hao and Mengxi Li and Dorsa Sadigh},
journal= {arXiv preprint arXiv:2110.15142},
year = {2021}
}