跨城市至关重要：用于基于高分辨率域适应网络跨城市语义分割的多模态遥感基准数据集
计算机视觉与模式识别
2023-10-04 v2 图像与视频处理
摘要
如今，人工智能（AI）方法在单模态主导的遥感（RS）应用中取得了显著成功，尤其侧重于单个城市或区域环境。然而，由于缺少多样的RS信息以及具备高泛化能力的尖端解决方案，这些AI模型在跨城市或区域的案例研究中往往遭遇性能瓶颈。为此，我们构建了一套新的多模态遥感基准数据集（包括高光谱、多光谱、SAR）用于跨城市语义分割任务研究（称为C2Seg数据集），其包含两个跨城市场景，即柏林-奥格斯堡（德国）与北京-武汉（中国）。除单城市外，我们提出一种高分辨率域适应网络（简称HighDAN）以提升AI模型在多城市环境中的泛化能力。HighDAN能够以并行高到低分辨率融合方式良好保留所研究城市场景的空间拓扑结构，并通过对抗学习缩小不同城市间RS图像表征巨大差异所带来的鸿沟。此外，HighDAN中考虑了Dice损失以缓解跨城市因素引起的类别不平衡问题。在C2Seg数据集上的大量实验表明，与最先进的同类方法相比，我们的HighDAN在分割性能与泛化能力方面均具优越性。C2Seg数据集与语义分割工具箱（含所提HighDAN）将在 https://github.com/danfenghong 公开。
引用
@article{arxiv.2309.16499,
title = {Cross-City Matters: A Multimodal Remote Sensing Benchmark Dataset for Cross-City Semantic Segmentation using High-Resolution Domain Adaptation Networks},
author = {Danfeng Hong and Bing Zhang and Hao Li and Yuxuan Li and Jing Yao and Chenyu Li and Martin Werner and Jocelyn Chanussot and Alexander Zipf and Xiao Xiang Zhu},
journal= {arXiv preprint arXiv:2309.16499},
year = {2023}
}