基于以相机为中心的物体壳表示的同步物体重建与抓取预测

能够抓取物体是大多数机器人操纵系统的基本组成部分。在本文中，我们提出一种从深度图像同时重建物体网格与密集抓取质量图的新方法。我们方法的核心是一种新颖的以相机为中心的物体表示，称为“物体壳”，它由观测到的“进入图像”和预测出的“退出图像”组成。我们提出了一种图像到图像的残差 ConvNet 架构，其中物体壳和抓取质量图作为独立的输出通道进行预测。壳表示及相应神经网络架构 ShellGrasp-Net 的主要优势在于，壳表示中的输入输出像素对应关系在架构中被显式表达。我们表明，这种耦合为物体重建带来了优越的泛化能力，并在隐式考虑物体几何的情况下实现准确的抓取质量估计。我们的方法在单次前向传播中高效地生成密集抓取质量图和物体几何估计。这两种输出均可用于广泛的机器人操纵应用。通过在仿真和真实装置上的严格实验验证，我们表明基于壳的方法可用于生成精确抓取及相应的抓取质量，准确率超过 90%。在壳重建上计算的多样化抓取使机器人能够在杂乱场景中选取并执行抓取，成功率超过 93%。