基于对象中心视觉可供性学习灵巧抓取
机器人学
2021-06-18 v2 计算机视觉与模式识别
摘要
灵巧机械手因其敏捷性与类人形态而颇具吸引力，但其高自由度使得学习操控极具挑战性。我们提出一种学习灵巧抓取的方法。其核心思想是将对象中心的视觉可供性模型嵌入深度强化学习循环中，以学习偏好与人类所偏好相同对象区域的抓取策略。不同于从人类演示轨迹（如手套捕获的手部关节序列）学习的传统方法，所提先验是以对象为中心且基于图像的，使智能体能够预判在策略学习期间未出现对象的可用可供性区域。我们在一个 30 自由度五指机械手模拟器上基于两个数据集的 40 个对象验证了该想法，其成功且高效地学习了稳定功能性抓取的策略。我们的可供性引导策略显著更有效，对新对象泛化更好，比基线训练快 3 倍，且对噪声传感器读数与驱动更具鲁棒性。我们的工作向通过观看人们如何使用对象来学习的操控智能体迈出了一步，而无需人体状态与动作信息。项目网站：http://vision.cs.utexas.edu/projects/graff-dexterous-affordance-grasp
引用
@article{arxiv.2009.01439,
title = {Learning Dexterous Grasping with Object-Centric Visual Affordances},
author = {Priyanka Mandikal and Kristen Grauman},
journal= {arXiv preprint arXiv:2009.01439},
year = {2021}
}
备注
Accepted at ICRA 2021