APSeg: 用于跨域小样本语义分割的自动提示网络
计算机视觉与模式识别
2024-06-14 v2
摘要
小样本语义分割(FSS)旨在仅用少量标注样本分割未见类别。当前的FSS方法通常基于训练和应用场景具有相似领域的假设，当应用于不同领域时，其性能会显著下降。为此，我们提出利用前沿的基础模型——分割一切模型(SAM)来增强泛化能力。然而，SAM在与其训练数据(主要由自然场景图像组成)不同的领域上表现不佳，并且由于其交互式提示机制，不支持特定语义的自动分割。在我们的工作中，我们引入了APSeg，一种用于跨域小样本语义分割(CD-FSS)的新型自动提示网络，该网络设计为自动提示以指导跨域分割。具体来说，我们提出了一个双原型锚点变换(DPAT)模块，该模块融合了基于循环一致性提取的伪查询原型与支持原型，使得特征能够转换到更稳定的域无关空间。此外，引入了元提示生成器(MPG)模块来自动生成提示嵌入，从而无需手动视觉提示。我们构建了一个高效的模型，可以直接应用于目标域而无需微调。在四个跨域数据集上的大量实验表明，我们的模型在1-shot和5-shot设置下的平均准确率分别比最先进的CD-FSS方法高出5.24%和3.10%。
引用
@article{arxiv.2406.08372,
title = {APSeg: Auto-Prompt Network for Cross-Domain Few-Shot Semantic Segmentation},
author = {Weizhao He and Yang Zhang and Wei Zhuo and Linlin Shen and Jiaqi Yang and Songhe Deng and Liang Sun},
journal= {arXiv preprint arXiv:2406.08372},
year = {2024}
}
备注
15 pages, 9 figures