DF4LCZ：基于 SAM 的场景级局部气候区分类的数据融合框架
计算机视觉与模式识别
2024-03-15 v1
摘要
远程感知技术的最新进展显示，其在准确分类局部气候区（LCZ）方面具有潜力。然而，传统的场景级方法使用卷积神经网络（CNN）时，往往难以有效整合地面对象的先验知识。此外，常用的数据源如 Sentinel-2 在捕获地面对象细节信息方面存在困难。为解决这些挑战，我们提出一种数据融合方法，将从高分辨率 Google 影像中提取的地面对象先验信息与 Sentinel-2 多光谱影像相结合。该方法提出了一种新的局部气候区分类的双流融合框架（DF4LCZ），将来自 Google 影像的基于实例的位置特征与从 Sentinel-2 影像中提取的场景级时空光谱特征相结合。该框架采用由 Segment Anything Model（SAM）赋能的图卷积网络（GCN）模块来增强从 Google 影像中的特征提取。同时，该框架采用 3D-CNN 架构来学习 Sentinel-2 影像的光谱-时空特征。我们在专为 LCZ 分类设计的多源遥感图像数据集上进行实验，验证了所提出 DF4LCZ 方法的有效性。相关代码和数据集可在 https://github.com/ctrlovefly/DF4LCZ 上获取。
引用
@article{arxiv.2403.09367,
title = {DF4LCZ: A SAM-Empowered Data Fusion Framework for Scene-Level Local Climate Zone Classification},
author = {Qianqian Wu and Xianping Ma and Jialu Sui and Man-On Pun},
journal= {arXiv preprint arXiv:2403.09367},
year = {2024}
}