基于语义图像分割掩码的合成实例分割
计算机视觉与模式识别
2024-10-10 v4
摘要
近年来，实例分割在各种应用中受到了广泛关注。然而，训练一个全监督实例分割模型需要代价高昂的实例级和像素级标注。相比之下，弱监督实例分割方法，例如使用图像级类别标签或点标签的方法，往往难以满足实际场景的准确率和召回率要求。在本文中，我们提出了一种称为合成实例分割（SISeg）的新范式。SISeg 通过利用现有语义分割模型生成的图像掩码来实现实例分割结果，并且由于我们无需为语义分割进行额外训练或使用实例级图像标注，其效率很高。换言之，所提出的模型不需要额外的人力或更高的计算开销。具体而言，我们首先通过已有的语义分割模型获得输入图像的语义分割掩码。然后，基于该分割掩码为每个像素计算一个位移场向量，其可指示属于同一类别但不同实例的表示，即获得实例级目标信息。最后，实例分割结果由一个可学习的类别无关目标边界分支进行细化。在两个具有挑战性的数据集上的大量实验结果突显了 SISeg 在与最先进方法（尤其是全监督方法）相比时取得有竞争力结果的有效性。代码将于以下地址发布：SISeg
引用
@article{arxiv.2308.00949,
title = {Synthetic Instance Segmentation from Semantic Image Segmentation Masks},
author = {Yuchen Shen and Dong Zhang and Zhao Zhang and Liyong Fu and Qiaolin Ye},
journal= {arXiv preprint arXiv:2308.00949},
year = {2024}
}
备注
12 pages,4 figures