将广义语义知识嵌入少样本遥感分割
计算机视觉与模式识别
2024-05-24 v1
摘要
遥感图像的少样本分割（FSS）利用有限标注样本的支持信息来实现新类别的查询分割。以往的工作致力于从有限的支持样本中挖掘分割引导的视觉线索。然而，它们仍然难以解决遥感图像中显著的类内差异，因为稀疏的视觉线索使得建立鲁棒的类别特定表示具有挑战性。在本文中，我们提出了一种整体语义嵌入（HSE）方法，该方法有效利用了通用语义知识，即类别描述（CD）嵌入。我们不是简单地将CD嵌入和视觉特征组合用于分割解码，而是研究在特征提取阶段嵌入通用语义知识。具体来说，在HSE中，空间密集交互模块允许视觉支持特征通过自注意力沿空间维度与CD嵌入进行交互。此外，全局内容调制模块通过视觉特征和CD嵌入的转换融合，有效地增强了支持特征和查询特征中目标类别的全局信息。这两个组件整体协同通用CD嵌入和视觉线索，构建了鲁棒的类别特定表示。通过在标准FSS基准上的大量实验，所提出的HSE方法相比同行工作表现出优越的性能，达到了新的最先进水平。
引用
@article{arxiv.2405.13686,
title = {Embedding Generalized Semantic Knowledge into Few-Shot Remote Sensing Segmentation},
author = {Yuyu Jia and Wei Huang and Junyu Gao and Qi Wang and Qiang Li},
journal= {arXiv preprint arXiv:2405.13686},
year = {2024}
}