从玩耍中高效学习高层规划
机器学习
2023-03-20 v1 机器人学
摘要
现实世界中的机器人操作任务仍然是一项难以攻克的挑战，因为它们既涉及细粒度的环境交互，又需要具备为长视野目标进行规划的能力。尽管深度强化学习（RL）方法在高维环境中端到端规划时展现出令人鼓舞的结果，但由于探索效率低下以及长视野下信用分配复杂，它们从根本上受限于较差的样本效率。在这项工作中，我们提出从玩耍中高效学习高层规划（ELF-P），一个桥接运动规划与深度 RL 以实现长视野复杂操作任务的机器人学习框架。我们利用与任务无关的玩耍数据来学习关于以物体为中心的基元上的离散行为先验，建模给定当前上下文时这些基元的可行性。然后我们设计一个高层目标条件策略，其（1）使用基元作为构建模块来搭建复杂的长视野任务，以及（2）利用行为先验来加速学习。我们证明，在多个真实操作任务上，ELF-P 比相关基线具有显著更好的样本效率，并学习到可轻松迁移到物理硬件的策略。
引用
@article{arxiv.2303.09628,
title = {Efficient Learning of High Level Plans from Play},
author = {Núria Armengol Urpí and Marco Bagatella and Otmar Hilliges and Georg Martius and Stelian Coros},
journal= {arXiv preprint arXiv:2303.09628},
year = {2023}
}
备注
Accepted to the International Conference on Robotics and Automation 2023