动作图像表示：以零真实世界数据学习可扩展的深度抓取策略

本文提出动作图像（Action Image），一种新颖的抓取提议表示，可用来学习端到端的深度抓取策略。我们的模型在$172$个真实物体上达到$84\%$的抓取成功率，而仅在模拟中使用$48$个物体并以朴素域随机化进行训练。类似于物体检测等计算机视觉问题，动作图像基于物体特征在图像空间中具有平移不变性的思想。因此，在评估物体—夹爪关系时抓取质量是不变的；对某一物体的成功抓取取决于其局部上下文，但独立于周围环境。动作图像将抓取提议表示为一幅图像，并使用深度卷积网络推断抓取质量。我们表明，通过使用动作图像表示，所训练的网络能够提取抓取任务的局部显著特征，并可泛化至不同物体与环境。我们展示了该表示适用于多种输入，包括彩色图像（RGB）、深度图像（D）及彩色—深度组合（RGB-D）。我们的实验结果表明，利用动作图像表示的网络在模拟数据训练与真实世界传感器流推理之间表现出较强的域迁移能力。最后，我们的实验显示，使用动作图像训练的网络相较结构相同但采用向量编码动作的基线模型，抓取成功率更高（$84\%$对$53\%$）。