自训练引导的解耦自适应网络用于跨域遥感图像语义分割
计算机视觉与模式识别
2023-06-01 v3
摘要
基于深度卷积神经网络 (DCNN) 的遥感 (RS) 图像语义分割技术已在许多现实世界应用（如地理要素分析）中取得了巨大成功。然而，对特定场景标注数据的强依赖性使得 DCNN 难以适应不同的遥感场景。为了解决这个问题，最近的工作逐渐关注跨域遥感图像语义分割任务。在此任务中，不同的地面采样距离、遥感传感器变化以及不同的地理景观是导致源图像和目标图像之间出现显著域偏移的三个主要因素。为了减少域偏移的负面影响，我们提出了一个自训练引导的解耦自适应网络 (ST-DASegNet)。我们首先提出源学生骨干网络和目标学生骨干网络，分别提取源图像和目标图像的源域风格和目标域风格特征。对于每个骨干网络的中间输出特征图，我们采用对抗学习进行对齐。然后，我们提出了一个域解耦模块，以提取通用特征并纯化源风格和目标风格特征的独特特征。最后，这两个特征被融合，并作为源学生解码器和目标学生解码器的输入，以生成最终预测。基于我们提出的域解耦模块，我们进一步提出了基于指数移动平均 (EMA) 的跨域分离自训练机制，以缓解对抗优化过程中的不稳定性和不利影响。在基准 RS 数据集上的大量实验和分析表明，ST-DASegNet 在跨域 RS 图像语义分割任务上优于先前的方法，并取得了最先进 (SOTA) 的结果。我们的代码可在 https://github.com/cv516Buaa/ST-DASegNet 获取。
引用
@article{arxiv.2301.05526,
title = {Self-Training Guided Disentangled Adaptation for Cross-Domain Remote Sensing Image Semantic Segmentation},
author = {Qi Zhao and Shuchang Lyu and Binghao Liu and Lijiang Chen and Hongbo Zhao},
journal= {arXiv preprint arXiv:2301.05526},
year = {2023}
}
备注
19 pages, 9 figures, 8 tables, 22 formulas