语义抓取的端到端学习
机器人学
2017-11-10 v3 机器学习
机器学习
摘要
我们考虑语义机器人抓取任务，其中机器人仅使用单目图像来拾取用户指定类别的物体。受视觉推理双流假说的启发，我们提出了一种语义抓取框架，以端到端的方式学习目标检测、分类与抓取规划。一个“腹侧流”识别物体类别，而一个“背侧流”同时解释执行成功抓取所必需的几何关系。我们利用机器人的自主数据收集能力获得大型自监督数据集以训练背侧流，并使用半监督标签传播以仅少量人类监督来训练腹侧流。我们通过实验表明，我们的方法优于那些组件非端到端学习的抓取系统，包括使用边界框检测的基线方法。此外，我们表明，将我们的模型与由非语义抓取数据以及无抓取动作的语义标记图像组成的辅助数据联合训练，有可能大幅改善语义抓取性能。
引用
@article{arxiv.1707.01932,
title = {End-to-End Learning of Semantic Grasping},
author = {Eric Jang and Sudheendra Vijayanarasimhan and Peter Pastor and Julian Ibarz and Sergey Levine},
journal= {arXiv preprint arXiv:1707.01932},
year = {2017}
}
备注
14 pages