SORNet：面向顺序操作的空间物体中心表征
机器人学
2022-09-15 v3 计算机视觉与模式识别
机器学习
摘要
顺序操作任务要求机器人感知环境状态并规划一系列动作以达到期望的目标状态。在此类任务中，从原始传感器输入推理物体实体间空间关系的能力至关重要，以便确定任务何时完成以及可以执行哪些动作。在这项工作中，我们提出了 SORNet（空间物体中心表征网络），这是一个从 RGB 图像中学习物体中心表征的框架，该框架以一组物体查询为条件，这些查询表示为称为规范物体视图的图像块。每个物体仅需一个规范视图且无需标注，SORNet 就能零样本泛化到训练期间形状和纹理均未见过的物体实体。我们在复杂的桌面操作场景中，在各种空间推理任务（如空间关系分类和相对方向回归）上评估了 SORNet，并表明 SORNet 显著优于包括最先进表征学习技术在内的基线方法。我们还展示了 SORNet 学习到的表征在真实机器人上的视觉伺服和顺序操作任务规划中的应用。
引用
@article{arxiv.2109.03891,
title = {SORNet: Spatial Object-Centric Representations for Sequential Manipulation},
author = {Wentao Yuan and Chris Paxton and Karthik Desingh and Dieter Fox},
journal= {arXiv preprint arXiv:2109.03891},
year = {2022}
}
备注
CoRL 2021 Best Systems Paper Finalist; Code and data available at https://github.com/wentaoyuan/sornet