基于长期机器人交互的自监督未知物体实例分割

我们提出了一种新颖的机器人系统，通过利用机器人与物体的长期交互来改进真实世界中未知物体实例分割。先前的方法要么抓取要么推动一个物体，然后在一次动作后获得被抓取或推动物体的分割掩码。相反，我们的系统在一系列机器人推动动作之后才决定是否分割物体。通过对机器人推动采集的图像应用多目标跟踪与视频物体分割，我们的系统能够以自监督方式生成这些图像中所有物体的分割掩码。这些图像中包含物体彼此非常接近的情况，而现有物体分割网络在这些图像上通常会出现分割错误。我们通过用本系统采集的真实世界数据微调在合成数据上训练的分割网络，证明了我们系统的实用性。我们表明，微调后，这些网络在同一领域及跨不同领域的分割精度均显著提升。此外，我们验证了微调后的网络改进了真实世界中针对未知物体的自上而下机器人抓取。