利用多可供性抓取与跨域图像匹配在杂乱环境中抓取与放置新颖物体
机器人学
2020-06-02 v5 计算机视觉与模式识别
摘要
本文提出了一种机器人抓取与放置系统，能够在杂乱环境中抓取和识别已知及新颖物体。该系统的新关键特性在于，它无需任何针对新颖物体的特定任务训练数据即可处理广泛的物体类别。为实现这一目标，系统首先使用类别无关的可供性预测算法，在四种不同的抓取原语行为中进行选择并执行。随后，利用跨域图像分类框架将观测图像与产品图像进行匹配，从而识别被抓取的物体。由于各种物体（例如来自网络）的产品图像易于获取，该系统无需任何额外训练数据即可直接用于新颖物体。详尽的实验结果表明，我们的多可供性抓取在杂乱环境中对各种物体均实现了高成功率，且我们的识别算法对已知和新颖的被抓取物体均实现了高准确率。该方法是 MIT-Princeton 团队系统的一部分，该系统在 2017 年 Amazon Robotics Challenge 的存放任务中荣获第一名。所有代码、数据集和预训练模型均可在 http://arc.cs.princeton.edu 在线获取。
引用
@article{arxiv.1710.01330,
title = {Robotic Pick-and-Place of Novel Objects in Clutter with Multi-Affordance Grasping and Cross-Domain Image Matching},
author = {Andy Zeng and Shuran Song and Kuan-Ting Yu and Elliott Donlon and Francois R. Hogan and Maria Bauza and Daolin Ma and Orion Taylor and Melody Liu and Eudald Romo and Nima Fazeli and Ferran Alet and Nikhil Chavan Dafle and Rachel Holladay and Isabella Morona and Prem Qu Nair and Druck Green and Ian Taylor and Weber Liu and Thomas Funkhouser and Alberto Rodriguez},
journal= {arXiv preprint arXiv:1710.01330},
year = {2020}
}
备注
Project webpage: http://arc.cs.princeton.edu Summary video: https://youtu.be/6fG7zwGfIkI