末端执行器空间中的变阻抗控制：接触丰富任务中强化学习的动作空间
机器人学
2019-08-06 v2 人工智能
机器学习
摘要
近年来，接触丰富操作任务的强化学习（RL）取得了令人印象深刻的成果。虽然许多 RL 研究关注观测空间或奖励模型的变化，但很少有学者关注动作空间的选择（例如关节或末端执行器空间、位置、速度等）。然而，机器人运动控制的研究表明，选择与任务特性相符的动作空间可以简化探索并提高对扰动的鲁棒性。本文研究了不同动作空间在深度 RL 中的影响，并主张将末端执行器空间中的变阻抗控制（VICES）作为受限且接触丰富任务的一种优势动作空间。我们在三个典型操作任务上评估了多种动作空间：路径跟随（无接触任务）、开门（运动学约束任务）和表面擦拭（连续接触任务）。我们表明 VICES 提高了样本效率，保持低能耗，并在所有三个实验设置中确保安全。此外，使用 VICES 学习的 RL 策略可在仿真中跨不同机器人模型迁移，以及从仿真到同一机器人的真实环境迁移。更多信息请见 https://stanfordvl.github.io/vices。
引用
@article{arxiv.1906.08880,
title = {Variable Impedance Control in End-Effector Space: An Action Space for Reinforcement Learning in Contact-Rich Tasks},
author = {Roberto Martín-Martín and Michelle A. Lee and Rachel Gardner and Silvio Savarese and Jeannette Bohg and Animesh Garg},
journal= {arXiv preprint arXiv:1906.08880},
year = {2019}
}
备注
IROS19