Pseudo-RIS：基于独特性伪监督生成的指涉图像分割

我们提出了一个新的框架，自动生成带有指涉表达式的高质量分割掩码，用于指涉图像分割（RIS）。这些伪监督允许在不 incur 手动标注成本的情况下训练任何受监督的RIS方法。为此，我们整合了现有的分割和图像描述生成基础模型，利用其广泛的泛化能力。然而，单纯地整合这些模型可能会生成不具独特性的表达式，这些表达式不单独指示目标掩码。为解决这一挑战，我们提出了两重策略来生成独特性的描述：1）独特性描述抽样，是一种用于生成多个聚焦于目标的详细词语的表达候选选项的新的解码方法。2）基于独特性的文本过滤，用于进一步验证候选选项并过滤掉独特性水平较低的候选选项。这两种策略确保生成的文本监督可以将目标与其他对象区分开来，使其适用于RIS注释。我们的方法在RIS基准数据集上显著优于弱监督和零样本最先进方法。它还在未见域中超越了完全监督的方法，证明了其在RIS内解决开放世界挑战的能力。此外，将我们的方法与人工注释集成可进一步提高性能，凸显了其在半监督学习应用中的潜力。