利用分段感知模型实现源自域适应的双特征引导自动提示
计算机视觉与模式识别
2025-07-15 v3
摘要
源自域适应 (SFDA) 的语义分割旨在将在源域训练的模型适配至仅拥有源模型和无标签目标数据时的目标域。灵感来自 Segment Anything Model (SAM) 最近的成功，该模型在给定人工标注提示（如边界框或点）后，能够对各种模态和不同域的图像进行分割。我们首次探索利用 SAM 实现 SFDA，通过自动寻找准确的边界框提示。我们发现，现有 SFDA 方法生成的边界框存在缺陷，由于域间差异。为此，我们提出一种新颖的双特征引导 (DFG) 自动提示方法进行框提示搜索。具体而言，首先在特征聚合阶段训练源模型，这不仅初步适配源模型至目标域，还构建为框提示搜索准备的特征分布。在第二个阶段，基于两个特征分布观察，依据目标模型特征和 SAM 特征分别引导框提示逐步扩大，以处理目标特征在类别上聚类的特征和在类别上离散的特征。为消除目标模型过度自信预测导致的扩大后验区域，我们进一步基于连通性分析对 SAM 生成的精细化伪标签进行后处理。在 3D 和 2D 数据集上的实验表明，我们的方法在性能上优于常规方法。代码已公开于 https://github.com/xmed-lab/DFG。
引用
@article{arxiv.2505.08527,
title = {Leveraging Segment Anything Model for Source-Free Domain Adaptation via Dual Feature Guided Auto-Prompting},
author = {Zheang Huai and Hui Tang and Yi Li and Zhuangzhuang Chen and Xiaomeng Li},
journal= {arXiv preprint arXiv:2505.08527},
year = {2025}
}
备注
Accepted in TMI 2025