HACMan：面向6D非抓取操作的混合Actor-Critic映射学习
机器人学
2024-07-16 v5 人工智能
机器学习
摘要
在不抓取物体情况下对其进行操控是人类灵巧性的重要组成部分，被称为非抓取操作。非抓取操作可实现与物体更复杂的相互作用，但也给夹持器-物体交互的推理带来挑战。本工作中，我们提出用于操控的混合Actor-Critic映射（HACMan），一种利用点云观测进行物体6D非抓取操作的强化学习方法。HACMan提出了一种时间抽象且空间定位的以物体为中心的动作表示，包括从物体点云中选择接触位置，以及一组描述机器人在接触后如何运动的运动参数。我们修改现有的离策略RL算法以在该混合离散-连续动作表示中学习。我们在仿真和真实世界中评估了HACMan在6D物体位姿对齐任务上的表现。在最具挑战性的任务版本中（具有随机初始位姿、随机6D目标以及多样物体类别），我们的策略展示出对未见物体类别的强泛化能力且无性能下降，在仿真中对未见物体达到89%成功率，在真实世界中通过零样本迁移达到50%成功率。相较于替代动作表示，HACMan的成功率超过最佳基线三倍以上。通过零样本sim2real迁移，我们的策略可利用动态且富含接触的非抓取技能，在真实世界中成功操控未见物体以实现具有挑战性的非平面目标。视频可在项目网站查看：https://hacman-2023.github.io。
引用
@article{arxiv.2305.03942,
title = {HACMan: Learning Hybrid Actor-Critic Maps for 6D Non-Prehensile Manipulation},
author = {Wenxuan Zhou and Bowen Jiang and Fan Yang and Chris Paxton and David Held},
journal= {arXiv preprint arXiv:2305.03942},
year = {2024}
}
备注
7th Conference on Robot Learning (CoRL 2023)