基于抓取的自监督实例分割
计算机视觉与模式识别
2023-05-11 v1 人工智能
机器人学
摘要
实例分割是许多机器人应用的一项基础技能。我们提出一种自监督方法，利用抓取交互为实例分割模型收集分割监督。当机器人抓取一个物品时，该被抓物品的掩码可由抓取前后场景图像推断得出。利用这一洞察，我们学习一个抓取分割模型，从抓取前与抓取后的图像中分割被抓物体。此类模型可从数千次抓取交互中分割被抓物体，无需昂贵的人工标注。利用分割出的被抓物体，我们可以将物体从其原始场景中“剪切”并“粘贴”到新场景中以生成实例监督。我们表明，与传统图像差分方法相比，我们的抓取分割模型在分割被抓物体时误差降低 5 倍。结合我们的“剪切-粘贴”生成方法，以我们的方法训练的实例分割模型比用 10 倍标注数据训练的模型取得更优性能。在真实机器人抓取系统上，我们的实例分割模型将抓取错误率较图像差分基线降低逾 3 倍。
引用
@article{arxiv.2305.06305,
title = {Self-Supervised Instance Segmentation by Grasping},
author = {YuXuan Liu and Xi Chen and Pieter Abbeel},
journal= {arXiv preprint arXiv:2305.06305},
year = {2023}
}