基于机器人运动的自监督夹持器中物体分割

准确的物体分割是机器人操作中的一项关键任务。然而，为神经网络创建充足的标注训练数据尤其耗时，且常需人工标注。为此，我们提出一种简单而鲁棒的解决方案，用于学习分割被机器人抓取的未知物体。具体而言，我们利用 RGB 视频序列中的运动与时间线索。使用光流估计，我们首先学习预测给定操作器的分割掩码。然后，这些标注与运动线索结合，用于自动区分背景、操作器和未知的被抓物体。与现有系统不同，我们的方法完全自监督，且不依赖于精确的相机标定、3D 模型或可能不完美的深度数据。我们与文献中的替代基线和方案进行了详尽比较。结果表明物体掩码与视图适合作为分割网络的训练数据，其可泛化至新环境，并允许进行水密 3D 重建。