基于Split Matching的归纳型零样本语义分割

零样本语义分割（ZSS）旨在分割训练期间未标注的类别。虽然微调视觉语言模型已取得有希望的成果，但这些模型常因缺乏对未见类别的监督而过拟合到已见类别。作为完全监督方法的替代方案，基于查询的分割在ZSS中显示出巨大的潜力，因为它无需依赖显式标签即可实现目标定位。然而，常规的匈牙利匹配作为查询框架的核心组件，需要完全监督，常将未见类别误分类为背景。为此，我们提出Split Matching（SM），一种 novel的分配策略，将匈牙利匹配解耦为两个组件：一个用于标注区域中的已见类别，另一个用于未标注区域中的潜在类别（称为未见候选者）。具体而言，我们将查询划分为已见组和候选组，使其可根据可用监督独立优化。为发现未见候选者，我们对CLIP稠密特征进行聚类生成伪掩码，并提取区域级嵌入。随后根据类别级相似性和掩码级一致性分别对两个组进行匹配。此外，我们引入多尺度特征增强（MFE）模块，通过残差多尺度聚合来细化解码器特征，提高模型捕获跨分辨率空间细节的能力。SM是首个在归纳型ZSS设置下引入解耦式匈牙利匹配的方法，取得了在两个标准基准测试上的最先进性能。