一种基于自然语言指令条件化的抓取检测联合网络
计算机视觉与模式识别
2021-04-02 v1 机器人学
摘要
我们考虑基于自然语言指令查询来抓取目标物体的任务。先前的工作主要集中于在给定查询下定位物体，这需要单独的抓取检测模块来抓取该物体。由于各自输出中的歧义，两个流水线的级联应用在重叠的多物体情况下会产生误差。本工作提出一种名为指令抓取网络（Command Grasping Network, CGNet）的模型，直接从 RGB 图像和文本指令输入中输出满足指令的抓取。基于 VMRD 数据集生成了带有真值（图像、指令、抓取）元组的数据集来训练所提出的网络。在生成的测试集上的实验结果表明，CGNet 大幅优于级联的物体检索与抓取检测基线。三个物理实验展示了 CGNet 的功能与性能。
引用
@article{arxiv.2104.00492,
title = {A Joint Network for Grasp Detection Conditioned on Natural Language Commands},
author = {Yiye Chen and Ruinian Xu and Yunzhi Lin and Patricio A. Vela},
journal= {arXiv preprint arXiv:2104.00492},
year = {2021}
}
备注
7 pages, 2 figures, Accepted to the ICRA2021