语言引导的小样本语义分割

小样本学习是一种以少量精标注支持集为引导、降低新类别适配中标注成本的有前景的方法。但对于小样本语义分割，支持图像的像素级标注仍然昂贵。本文提出一种仅利用语言信息（即图像级文本标签）应对小样本语义分割挑战的创新方案。我们的方法包含一种视觉-语言驱动的掩码蒸馏机制，其由视觉-语言预训练（VLP）模型与掩码精炼器组成，以从文本提示生成高质量伪语义掩码。我们还引入分布式原型监督方法与互补关联匹配模块，引导模型挖掘支持图像与查询图像间精确的语义关系。在两个基准数据集上的实验表明，我们的方法为语言引导的小样本语义分割建立了新基线，并取得了与近期视觉引导方法相竞争的结果。