基于 Transformer 的 6 自由度机器人抓取

机器人抓取旨在特定场景中检测可抓取点及其对应的夹爪配置，是机器人操作的基础。现有研究工作已展示使用 transformer 模型进行机器人抓取的潜力，其能高效学习全局与局部特征。然而，此类方法仍局限于二维平面上的抓取检测。本文中，我们将 transformer 模型扩展用于 6 自由度（6-DoF）机器人抓取，使其更灵活且适用于关注安全的任务。我们方法的关键设计是一个序列化模块，将三维体素化空间转为 transformer 模型可消费的特徵令牌序列，以及有效融合多尺度特征的跳跃连接。特别地，我们的方法以截断符号距离函数（TSDF）作为输入。将 TSDF 序列化后，利用 transformer 模型对序列编码，通过多头注意力获得一组聚合的隐藏特征向量。随后我们通过反卷积与跳跃连接解码隐藏特征，得到逐体素特征向量。体素特征向量用于回归执行抓取动作的参数。在近期提出的堆积与密堆抓取数据集上，我们展示了基于 transformer 的方法在成功率与清理率上超越现有方法约 5%。我们进一步评估了运行时间与泛化能力，以证明所提方法的优越性。