从无标签 RGB-D 视频中自监督学习物体分割
计算机视觉与模式识别
2023-04-11 v1 机器人学
摘要
本文提出一种用于分割 RGB 图像中刚性物体的自监督学习系统。所提出的流程在静态物体的无标签 RGB-D 视频上训练，这些视频可由移动机器人搭载的相机采集。自监督训练过程的一个关键特征是图匹配算法，该算法作用于从每个视频重建的点云的过分割输出。图匹配结合点云配准，能够跨视频发现重复出现的物体模式，并将其合并为 3D 物体伪标签，即使在遮挡或不同视角下亦可实现。由 3D 伪标签投影得到的 2D 物体掩码通过对比学习用于训练逐像素特征提取器。在线推理时，聚类方法利用学到的特征将前景像素聚为物体片段。实验在包含桌面物体杂乱场景的真实与合成视频数据集上突显了方法的有效性。所提方法以较大优势超越现有的无监督物体分割方法。
引用
@article{arxiv.2304.04325,
title = {Self-Supervised Learning of Object Segmentation from Unlabeled RGB-D Videos},
author = {Shiyang Lu and Yunfu Deng and Abdeslam Boularias and Kostas Bekris},
journal= {arXiv preprint arXiv:2304.04325},
year = {2023}
}