基于域适应的未知物体分割

在杂乱场景中对未知物体进行分割的能力对机器人抓取有着深远影响。深度学习的兴起极大地将机器人抓取的流程从基于模型的方法转变为数据驱动的流程，后者通常需要大规模抓取数据，这些数据或在仿真中收集，或来自真实世界样本。在本文中，我们提出了一种 sim-to-real（仿真到真实）框架，将仿真中学得的物体分割模型迁移到真实世界。首先，在仿真中收集数据样本，包括 RGB、6D 位姿和点云。其次，我们还提出了一种基于 GAN 的通过域适应的未知物体分割方法，其由一个图像翻译模块和一个图像分割模块组成。图像翻译模块用于缩短现实差距，分割模块负责生成分割掩码。我们使用上述方法在料箱拣选（bin-picking）场景中对未知物体进行分割实验。最后，实验结果表明，在仿真中学得的分割模型可用于真实世界数据的分割。