基于生成模型的红外图像少样本语义分割融合技术

红外（IR）成像在包括自动驾驶、火灾安全和防御应用在内的众多场景中广泛应用，因此其语义分割任务备受关注。然而，该任务面临诸多挑战，包括数据稀缺、与自然图像在对比度和输入通道数方面的差异，以及在某些场景（如防御应用）中出现的类别在数据库中未被表示的问题。少样本分割（FSS）提供了一种通过少量标注支持样本来分割查询图像的框架，以克服这些问题。然而，现有针对红外图像的FSS模型需要配对的可见RGB图像，这在获取此类配对数据在某些应用中困难或不可能的局限性。本文通过使用生成建模和融合技术，开发了针对红外图像的FSS新策略。具体而言，我们提出合成辅助数据以提供额外通道信息来补充红外图像中有限的对比度，同时进行红外数据合成以进行数据增强。前者帮助FSS模型更好地捕获支持集和查询集之间的关系，后者解决数据稀缺问题。最后，为进一步提升前者方面的效果，我们提出了一种新颖的融合集合模块，用于集成两种不同模态。我们的方法在不同红外数据集上进行评估，优于当前最先进（SOTA）FSS模型。