因果原型启发的对比适应用于高分辨率遥感影像的无监督域自适应语义分割
计算机视觉与模式识别
2024-03-07 v1
摘要
高分辨率遥感影像(HRSI)的语义分割受到域偏移的影响,导致模型在另一个未见域中的性能较差。无监督域自适应(Unsupervised Domain Adaptive, UDA)语义分割旨在将在标记源域上训练的语义分割模型适应到未标记的目标域。然而,现有的 UDA 语义分割模型倾向于基于源域和目标域数据中与标签相关的统计信息来对齐像素或特征,并据此进行预测,这导致预测结果的不确定性和脆弱性。在本文中,我们提出了一种因果原型启发的对比适应(Causal Prototype-inspired Contrast Adaptation, CPCA)方法,以探索不同 HRSI 域及其语义标签之间不变的因果机制。它首先通过因果特征解耦模块从源域和目标域图像中解耦因果特征和偏差特征。然后,使用因果原型对比模块学习域不变的因果特征。为了进一步解耦因果特征和偏差特征,引入了因果干预模块对偏差特征进行干预,以生成反事实的无偏样本。通过强制因果特征满足可分性、不变性和干预性原则,CPCA 可以模拟源域和目标域的因果因素,并基于因果特征对目标域做出决策,从而观察到泛化能力的提升。在三个跨域任务下的大量实验表明,CPCA 显著优于最先进的方法。
引用
@article{arxiv.2403.03704,
title = {Causal Prototype-inspired Contrast Adaptation for Unsupervised Domain Adaptive Semantic Segmentation of High-resolution Remote Sensing Imagery},
author = {Jingru Zhu and Ya Guo and Geng Sun and Liang Hong and Jie Chen},
journal= {arXiv preprint arXiv:2403.03704},
year = {2024}
}
备注
16 pages, 8 figures and 7 tables, submitted to IEEE Transactions on Geoscience and Remote Sensing, 2024