面向机器人抓取的域随机化与生成模型

基于深度学习的机器人抓取因算法改进和数据可用性增加而取得了显著进展。然而,最先进的模型通常仅在数百或数千个唯一物体实例上训练,因此泛化能力可能是一个挑战。在本工作中,我们探索了一种新颖的数据生成流水线,用于训练深度神经网络执行抓取规划,该方法将域随机化的思想应用于物体合成。我们生成数百万个独特的、非真实的程序化生成物体,并训练深度神经网络在这些物体上执行抓取规划。由于给定物体的成功抓取分布可能高度多模态,我们提出了一种自回归抓取规划模型,将场景的传感器输入映射到可能抓取的概率分布上。该模型使我们能在测试时高效地采样抓取(或完全避免采样)。我们在仿真和真实世界中评估了我们的模型架构和数据生成流水线。我们发现,尽管仅在随机物体上训练,在仿真测试时仍能在先前未见过的真实物体上实现 $>$90% 的成功率。我们还展示了在真实世界抓取尝试中达到 80% 的成功率,尽管仅在随机模拟物体上训练。