双模之优：分别利用RGB与深度进行未知物体实例分割
计算机视觉与模式识别
2020-07-17 v2 机器人学
摘要
为在非结构化环境中运作，机器人需要具备识别未见新颖物体的能力。我们朝此方向迈进一步，解决桌面环境中未知物体实例分割问题。然而，该任务所需的大规模真实世界数据集在大多数机器人场景中通常不存在，这促使了合成数据的使用。我们提出一种新颖方法，分别利用合成RGB与合成深度进行未知物体实例分割。我们的方法包含两阶段：第一阶段仅基于深度生成粗略初始掩码，第二阶段用RGB细化这些掩码。令人惊讶的是，我们的框架能够从合成RGB-D数据中学习，其中RGB是非照片真实的。为训练我们的方法，我们引入了一个桌面随机物体的大规模合成数据集。我们表明，在该数据集上训练的方法可生成清晰准确的掩码，在未知物体实例分割上优于最先进方法。我们还展示了我们的方法可用于机器人抓取的未知物体分割。代码、模型和视频见 https://rse-lab.cs.washington.edu/projects/unseen-object-instance-segmentation/。
引用
@article{arxiv.1907.13236,
title = {The Best of Both Modes: Separately Leveraging RGB and Depth for Unseen Object Instance Segmentation},
author = {Christopher Xie and Yu Xiang and Arsalan Mousavian and Dieter Fox},
journal= {arXiv preprint arXiv:1907.13236},
year = {2020}
}