使用仿真和域自适应提高深度机器人抓取效率

为训练现代机器学习算法而装备和收集带注释的视觉抓取数据集可能极其耗时且昂贵。一个吸引人的替代方案是使用现成的模拟器渲染合成数据，并自动生成真实标注。不幸的是，纯粹在模拟数据上训练的模型往往无法泛化到真实世界。我们研究了如何将随机化模拟环境和域自适应方法扩展到训练一个抓取系统，使其能够从原始单目RGB图像抓取新颖物体。我们通过总计超过25,000次实际物理测试抓取，广泛评估了我们的方法，研究了一系列模拟条件和域自适应方法，包括我们称之为GraspGAN的像素级域自适应的新颖扩展。我们表明，通过使用合成数据和域自适应，我们能够将实现给定性能水平所需的真实世界样本数量减少多达50倍，仅使用随机生成的模拟物体。我们还表明，仅使用未标注的真实世界数据和我们的GraspGAN方法，我们在没有任何真实世界标签的情况下获得的真实世界抓取性能，与使用939,777个标注真实世界样本所达到的性能相似。