我知你所画：基于少量手绘草图的条件化抓取检测学习
机器人学
2022-05-10 v1 计算机视觉与模式识别
摘要
本文关注通过理解手绘草图来生成目标抓取的问题。草图对于无法组织语言的人以及无法即时获得文本描述的情形很有用。然而，极少有工作意识到这种人与机器人之间新型交互方式的可用性。为此，我们提出一种方法，生成与草图所描绘物体相关的潜在抓取配置。由于草图具有抽象细节的固有模糊性，我们利用图结构，将草图的结构纳入以增强表示能力。该图表示的草图被进一步验证可改善网络的泛化能力，能够利用少量（约 100 个）手绘草图样本学习草图查询的抓取检测。此外，我们的模型以端到端方式训练与测试，易于在真实应用中部署。在多物体 VMRD 和 GraspNet-1Billion 数据集上的实验证明了所提方法的良好泛化性。实物机器人实验确认了我们的方法在物体杂乱场景中的实用性。
引用
@article{arxiv.2205.04026,
title = {I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches},
author = {Haitao Lin and Chilam Cheang and Yanwei Fu and Xiangyang Xue},
journal= {arXiv preprint arXiv:2205.04026},
year = {2022}
}
备注
accepted by ICRA2022