深度学习中面向多模态遥感数据局部气候区分类的融合与分组策略
计算机视觉与模式识别
2026-03-06 v1 机器学习
摘要
局部气候区 (LCZ) 提供分区图，用于研究城市结构和土地利用，分析城市化对当地气候的影响。多模态遥感数据使LCZ分类成为可能，数据融合对于提高准确率至关重要，因为数据复杂性较大。然而，目前缺乏对深度学习分类器架构中所用融合机制的全面分析。本研究分析了用于多类LCZ分类模型中不同融合策略及基于数据内在特征的分组策略。不同涉及卷积神经网络 (CNN) 的模型包括：(i)基线混合融合 (FM1)，(ii)采用自注意力和交叉注意力机制 (FM2)，(iii)采用多尺度高斯滤波图像 (FM3)，以及(iv)加权决策层融合 (FM4)。对像级、特征级和决策级融合效果进行消融实验，以研究模型性能。分组策略包括数据模态内的波段分组 (BG) 和地面实验值的标签合并 (LM)。我们的分析仅在So2Sat LCZ42数据集上完成，该数据集由合成孔径雷达 (SAR) 和多光谱成像 (MSI) 图像对组成。我们的结果表明，FM1始终优于简单融合方法。FM1结合BG和LM被发现是所有融合策略中最有效的方法，整体准确率达76.6%。重要的是，我们的研究突显了这些策略在提高欠代表类预测准确率方面的作用。我们的代码和处理后数据集已提供于 https://github.com/GVCL/LCZC-MultiModalHybridFusion
引用
@article{arxiv.2603.04562,
title = {Fusion and Grouping Strategies in Deep Learning for Local Climate Zone Classification of Multimodal Remote Sensing Data},
author = {Ancymol Thomas and Jaya Sreevalsan-Nair},
journal= {arXiv preprint arXiv:2603.04562},
year = {2026}
}
备注
25 pages, 12 figures