探究SAR与光学数据在多模态城市制图中利用不均衡问题
计算机视觉与模式识别
2023-04-12 v1 图像与视频处理
摘要
精确的城市地图为支持可持续城市发展提供必要信息。近期城市制图方法使用多模态深度神经网络融合合成孔径雷达（SAR）与光学数据。然而，由于学习的贪婪本性，多模态网络可能仅依赖单一模态。进而，模态利用的不均衡会对网络泛化能力产生负面影响。本文中，我们探究SAR与光学数据在城市制图中的利用情况。为此，采用带中间融合模块的双分支网络架构以在单模态分支间共享信息。融合模块中的截断机制可停止分支间信息流，用以估计网络对SAR与光学数据的依赖程度。尽管在SEN12全球城市制图数据集上的实验表明，常规SAR-光学数据融合可取得良好性能（F1分数 = 0.682 0.014），我们也观察到光学数据明显利用不足。因此，未来工作需探究更均衡地利用SAR与光学数据能否带来性能提升。
引用
@article{arxiv.2304.05080,
title = {Investigating Imbalances Between SAR and Optical Utilization for Multi-Modal Urban Mapping},
author = {Sebastian Hafner and Yifang Ban and Andrea Nascetti},
journal= {arXiv preprint arXiv:2304.05080},
year = {2023}
}
备注
4 pages, 3 figures, accepted for publication in the JURSE 2023 Proceedings