APEX：面向机器人操作的无监督以对象为中心场景分割与跟踪
机器人学
2021-09-14 v2
摘要
无监督学习在对象检测、分割与跟踪方面的近期进展对机器人应用具有重大前景。一种常见方法是将这些任务构建为概率潜变量模型中的推断。然而，在本文中我们表明，当前最先进的方法在视觉复杂场景（如机器人操作任务中典型遇到的场景）上表现不佳。我们提出 APEX，一种新颖的潜变量模型，其能够在更真实的场景中分割并跟踪对象，这些场景包含尺寸与纹理差异极大的对象，包括机器人手臂本身。这是通过一种原理性的掩码归一化算法与高分辨率场景编码器实现的。为评估我们的方法，我们给出了在真实世界 Sketchy 数据集上的结果。然而，该数据集不包含用于定量评估的真实掩码与对象 ID。因此我们引入了 Panda Pushing Dataset (P2D)，其展示了 Panda 机械臂在仿真中与桌上对象交互，并包含用于跟踪的真实分割掩码与对象 ID。在这两种情况下，APEX 在无监督对象分割与跟踪上全面优于当前最先进水平。我们展示了我们的分割在对象排列任务上的机器人技能执行中的有效性，在该任务中我们也取得了所有基线中最佳或相当的性能。
引用
@article{arxiv.2105.14895,
title = {APEX: Unsupervised, Object-Centric Scene Segmentation and Tracking for Robot Manipulation},
author = {Yizhe Wu and Oiwi Parker Jones and Martin Engelcke and Ingmar Posner},
journal= {arXiv preprint arXiv:2105.14895},
year = {2021}
}
备注
8 pages, 5 figures