面向机器人装配任务利用离散-连续混合动作空间学习插入基元
机器人学
2021-10-26 v1
摘要
本文提出一种离散-连续动作空间，用于学习机器人装配任务的插入基元。基元是一系列具有特定退出条件的基本动作，例如“将销钉下推直至接触”。由于基元是对机器人控制命令的抽象并编码了人类先验知识，它降低了探索难度并带来更好的学习效率。在本文中，我们通过基元学习机器人装配技能。具体而言，我们将插入基元表述为参数化动作：由离散基元类型与连续基元参数组成的混合动作。与使用每组离散化参数表示每个基元的先前工作相比，我们方法中的智能体可从连续空间中自由选取基元参数，更加灵活高效。为学习这些插入基元，我们提出孪生平滑多遍深度Q网络（TS-MP-DQN），即带有孪生Q网络以降低Q值过高估计的MP-DQN的改进版本。我们在仿真与真实世界中进行了大量实验以作验证。实验结果表明，我们的方法比三种基线取得了更高的成功率：采用参数化动作的MP-DQN、带离散参数的基元、以及连续速度控制。此外，学习到的基元对仿真到真实的迁移具有鲁棒性，并能泛化至诸如紧配合圆销孔与复杂形状电连接器等具有良好成功率的挑战性装配任务。实验视频见 https://msc.berkeley.edu/research/insertion-primitives.html。
引用
@article{arxiv.2110.12618,
title = {Learning Insertion Primitives with Discrete-Continuous Hybrid Action Space for Robotic Assembly Tasks},
author = {Xiang Zhang and Shiyu Jin and Changhao Wang and Xinghao Zhu and Masayoshi Tomizuka},
journal= {arXiv preprint arXiv:2110.12618},
year = {2021}
}
备注
Submitted to ICRA 22