SOS：基于物体先验的开放世界实例分割物体分割系统
计算机视觉与模式识别
2024-09-24 v1
摘要
我们提出了一种用于开放世界实例分割（OWIS）的方法，该任务旨在通过从训练期间有限的一组已标注物体类别进行泛化，以分割图像中任意的未知物体。我们的物体分割系统（SOS）明确解决了最先进系统的泛化能力与低精度问题，这些系统常产生背景误检。为此，我们基于基础模型 SAM 生成了高质量的伪标注。我们深入研究了各种物体先验以生成 SAM 的提示，明确地将该基础模型聚焦于物体。最强的物体先验由自监督 Vision Transformer 的自注意力图获得，我们利用其来提示 SAM。最后，将 SAM 后处理后的分割结果用作伪标注来训练一个标准实例分割系统。我们的方法在 COCO、LVIS 和 ADE20k 数据集上展现出强大的泛化能力，且与最先进方法相比精度提升高达 81.6%。源代码可在以下地址获取：https://github.com/chwilms/SOS
引用
@article{arxiv.2409.14627,
title = {SOS: Segment Object System for Open-World Instance Segmentation With Object Priors},
author = {Christian Wilms and Tim Rolff and Maris Hillemann and Robert Johanson and Simone Frintrop},
journal= {arXiv preprint arXiv:2409.14627},
year = {2024}
}
备注
Accepted at ECCV 2024. Code available at https://github.com/chwilms/SOS