联合优化的对抗性域适应在遥感分割中结合提示基础模型
计算机视觉与模式识别
2024-11-20 v2
摘要
遥感语义分割的无监督域适应（UDA-RSSeg）旨在解决将源域数据训练的模型适应到目标域样本的挑战，从而最大限度地减少对不同遥感场景进行标注的需求。该任务面临两个主要挑战：（1）不同遥感域之间特征表示存在严重不一致；（2）由于将特征转换为预测逻辑时源域模式的表示偏差，会出现域差距。为了解决这些问题，我们提出了一种结合“分割一切模型”（SAM）的联合优化对抗网络（SAM-JOANet）用于UDA-RSSeg。我们的方法利用SAM强大的泛化表示能力来缓解特征不一致问题。我们引入了一个微调解码器，用于将SAM编码器的特征转换为预测逻辑。此外，我们采用基于提示的特征级对抗分割器来生成类不可知图，以指导微调解码器的特征表示。整个网络以端到端方式联合优化分割器和微调解码器。在基准数据集（包括Potsdam和Vaihingen）上的广泛评估证明了我们方法的有效性。结果以及可视化和分析证实了我们方法的可解释性和鲁棒性。本文代码可在 https://github.com/CV-ShuchangLyu/SAM-JOANet 获取。
引用
@article{arxiv.2411.05878,
title = {Joint-Optimized Unsupervised Adversarial Domain Adaptation in Remote Sensing Segmentation with Prompted Foundation Model},
author = {Shuchang Lyu and Qi Zhao and Guangliang Cheng and Yiwei He and Zheng Zhou and Guangbiao Wang and Zhenwei Shi},
journal= {arXiv preprint arXiv:2411.05878},
year = {2024}
}
备注
12 pages,6 figures, 6 tables