GraspME——抓取流形估计器
机器人学
2021-07-06 v1 人工智能
计算机视觉与模式识别
摘要
本文提出一种抓取流形估计器(GraspME),用于直接在2D相机图像中检测物体的可抓取 affordance。为自主执行操作任务,机器人具备周围物体的此类可抓取性模型至关重要。抓取流形具有提供连续无限多个抓取的优势,而使用预定义抓取点等其他抓取表示则不具备该性质。例如,此特性可用于运动优化中,将目标集定义为机器人构型空间中的隐式曲面约束。本工作中,我们限定于直接从2D相机图像估计可能的末端执行器位置的情况。为此,我们通过一组关键点定义抓取流形,并使用Mask R-CNN骨干网络在图像中定位它们。利用学习到的特征可泛化至不同视角、潜在含噪图像及未出现在训练集中的物体。我们仅依赖仿真数据,并在简单与复杂物体(包括未见过的物体)上进行实验。我们的框架在GPU上达到11.5 fps的推理速度、94.5%的关键点估计平均精度以及仅1.29的平均像素距离。这表明我们可通过边界框与分割掩码很好地估计物体,并近似正确的抓取流形关键点坐标。
引用
@article{arxiv.2107.01836,
title = {GraspME -- Grasp Manifold Estimator},
author = {Janik Hager and Ruben Bauer and Marc Toussaint and Jim Mainprice},
journal= {arXiv preprint arXiv:2107.01836},
year = {2021}
}
备注
Accepted to RoMan 2021