在不完全监督下分割隐藏对象

不完全监督隐藏对象分割（ISCOS）涉及利用不完全标注数据（如弱监督和半监督标注）进行模型训练，以分割与周围环境无缝融合的对象。由于（1）不完全标注训练数据提供的监督有限，以及（2）隐藏场景中固有的相似性导致难以区分隐藏对象与背景，该任务仍然极具挑战性。在本文中，我们提出了ISCOS的首个统一方法来解决这些挑战。为了解决不完全监督的问题，我们提出了一种统一的mean-teacher框架SEE，利用视觉基础模型Segment Anything Model（SAM）通过教师模型生成的粗掩码作为提示来生成伪标签。为了缓解低质量分割掩码的影响，我们引入了一系列用于伪标签生成、存储和监督的策略。这些策略旨在生成信息丰富的伪标签、存储最佳生成的伪标签，并选择最可靠的组件来指导学生模型，从而确保稳健的网络训练。此外，为了解决固有相似性的问题，我们设计了一个混合粒度特征分组模块，该模块在不同粒度上对特征进行分组并聚合这些结果。通过聚类相似特征，该模块促进了分割连贯性，有助于对单对象和多对象图像进行更完整的分割。我们在多个ISCOS任务上验证了我们方法的有效性，实验结果表明我们的方法实现了最先进的性能。此外，SEE可以作为即插即用的解决方案，提升现有模型的性能。