TAVP：用于跨域少样本分割的任务自适应视觉提示
计算机视觉与模式识别
2024-12-31 v2
摘要
尽管大型视觉模型 (LVM) 因大规模预训练的应用而在图像理解方面展现出巨大潜力，但 Segment Anything Model (SAM) 也在图像分割领域取得了巨大成功，支持灵活的交互式线索和强大的学习能力。然而，SAM 在跨域和少样本应用中的性能往往表现不佳。先前的工作在将基础模型的先验知识迁移到新应用方面表现欠佳。为了解决这个问题，我们提出了一种任务自适应自动视觉提示框架，这是一种用于跨域少样本分割 (CD-FSS) 的新范式。首先，使用多级特征融合 (MFF) 进行综合特征提取作为先验知识。此外，我们引入了类域任务自适应自动提示 (CDTAP) 模块，以实现类域无关的特征提取并生成高质量、可学习的视觉提示。这一重大进展采用了独特的提示生成方法，并辅以全面的模型结构和专门的原型计算。在确保不丢弃 SAM 先验知识的同时，新分支通过原型解耦类别和域信息，引导其适应 CD-FSS。在四个跨域数据集上的综合实验表明，我们的模型优于最先进的 CD-FSS 方法，在 1-shot 设置下实现了 1.3% 的平均准确率提升，在 5-shot 设置下实现了 11.76% 的提升。
引用
@article{arxiv.2409.05393,
title = {TAVP: Task-Adaptive Visual Prompt for Cross-domain Few-shot Segmentation},
author = {Jiaqi Yang and Yaning Zhang and Jingxi Hu and Xiangjian He and Linlin Shen and Guoping Qiu},
journal= {arXiv preprint arXiv:2409.05393},
year = {2024}
}