从演示中学习：一种用于施工机器人模仿学习的直观虚拟现实环境
机器人学
2023-05-25 v1
摘要
施工机器人正在挑战劳动密集且重复性的传统施工任务范式。当前对施工机器人的关注集中于其在执行由若干子任务构成的复杂任务方面的能力，以及其在非结构化和动态施工环境中的适应性。模仿学习（IL）在训练机器人模仿复杂任务中的专家动作方面已显示出优势，且随后由强化学习（RL）生成的策略相比预编程机器人具有更好的适应性。本文中，我们提出了一种由两模块组成的施工机器人模仿学习框架。第一模块提供一个直观的专家演示采集虚拟现实（VR）平台，机器人将实时自动跟随专家手部的位置、旋转和动作，而无需专家通过控制器操控机器人。第二模块提供使用第一模块中记录的观测与动作进行模仿学习的模板。在第二模块中，利用行为克隆（BC）进行预训练，并将生成对抗模仿学习（GAIL）与近端策略优化（PPO）结合，以实现模仿强度与探索之间的权衡。结果表明，模仿学习，尤其在结合PPO时，能在有限训练步数内显著加速训练并提升策略性能。
引用
@article{arxiv.2305.14584,
title = {Learning from demonstrations: An intuitive VR environment for imitation learning of construction robots},
author = {Kangkang Duan and Zhengbo Zou},
journal= {arXiv preprint arXiv:2305.14584},
year = {2023}
}
备注
22 pages, 8 figures