利用自由目标片段进行长尾实例分割学习

在复杂场景中为大量类别构建实例分割模型的一个基本挑战是缺乏训练样本，尤其是对于稀有物体。在本文中，我们探索了在不进行费力数据收集和标注的情况下增加训练样本的可能性。我们发现，根据两点洞察，大量实例片段有可能从以物体为中心的图像中免费获得：(i) 以物体为中心的图像通常在简单背景中包含一个显著物体；(ii) 同一类别的物体通常具有相似的外观或与背景的相似对比度。受这些洞察的启发，我们提出了一个简单且可扩展的框架 FreeSeg，用于提取并利用这些“自由”物体前景片段来促进长尾实例分割中的模型训练。具体而言，我们考察同一类别以物体为中心图像之间的相似性以提出前景实例的候选片段，随后对片段质量进行新颖排序。所得高质量物体片段随后可用于扩充现有的长尾数据集，例如通过将片段复制粘贴到原始训练图像上。大量实验表明，FreeSeg 在强基线之上取得了实质性改进，并在分割稀有物体类别方面达到了最先进的精度。