利用部分缺失光学模态的多时相城市制图多模态深度学习方法
计算机视觉与模式识别
2023-06-02 v1 图像与视频处理
摘要
本文提出一种利用 Sentinel-1 合成孔径雷达（SAR）和 Sentinel-2 多光谱仪器（MSI）任务的多模态卫星数据进行多时相城市制图的新颖方法。特别地，它聚焦于因云层导致光学模态部分缺失的问题。所提模型利用两个网络分别从每种模态提取特征。此外，在光学模态缺失的情况下，利用一个重建网络基于 SAR 数据来逼近光学特征。我们在包含 Sentinel-1 SAR 和 Sentinel-2 MSI 数据的多时相城市制图数据集上的实验表明，所提方法优于使用零值替代缺失光学数据的多模态方法，以及基于单模态 SAR 的方法。因此，所提方法在可利用多模态数据时能有效利用之，同时在光学模态缺失时仍保持其有效性。
引用
@article{arxiv.2306.00640,
title = {Multi-Modal Deep Learning for Multi-Temporal Urban Mapping With a Partly Missing Optical Modality},
author = {Sebastian Hafner and Yifang Ban},
journal= {arXiv preprint arXiv:2306.00640},
year = {2023}
}
备注
4 pages, 2 figures, accepted for publication in the IGARSS 2023 Proceedings