利用无标签视频学习更好地分割未知类别物体

定位与分割未知类别物体的能力将开启新的应用，例如主动视觉中的自主物体学习。然而，提升在未知类别上的性能需要额外的训练数据，而手动标注未知类别物体可能耗费大量人力与成本。本文中，我们探索使用无标签视频序列为未知类别物体自动生成训练数据。原则上，可将现有视频分割方法应用于无标签视频并自动获得物体掩码，其随后可用作训练集，即便对于无任何可用手动标签的类别亦如此。然而，我们的实验表明这些方法为此目的表现尚不够好。因此我们引入一种专门设计用于自动创建此类训练集的贝叶斯方法：我们的方法始于一组物体提议，并依赖（非写实的）分析-合成来选择正确提议，通过对所有帧同时执行高效优化来实现。通过大量实验，我们表明我们的方法能生成高质量训练集，显著提升分割未知类别物体的性能。因此我们相信我们的方法可为利用丰富互联网视频的开放世界实例分割打开大门。