基于单视图的未知物体深度灵巧抓取

给定单视图对未知物体进行灵巧抓取是一个开放问题。本文对其解决作出若干贡献。首先，我们提出一个用于生成与测试灵巧抓取的模拟器。其次，我们给出由该模拟器生成的、包含对取自20个类别的294个基础物体的变体所进行的240万次模拟灵巧抓取的数据集。第三，我们提出一种可以监督方式训练的灵巧抓取生成与评估基础架构。第四，我们提出三种不同的评估架构，采用ResNet-50或VGG16作为视觉骨干。第五，我们在该模拟数据集上训练并评估了十七种生成-评估架构变体，将抓取成功率从69.53%提升至90.49%。最后，我们给出真实机器人实现，并评估四种最有前景的变体，共执行196次真实机器人抓取。我们表明最佳架构变体在单视图真实未知物体上达到87.8%的抓取成功率，较57.1%的基线有所提升。