基于带瓶颕提示的合成孔径雷达和多光谱数据融合框架用于局部气候区分类
计算机视觉与模式识别
2024-12-25 v1
摘要
局部气候区（LCZ）分类对于理解城市发展与局部气候之间的复杂相互作用具有重要价值。近期研究越来越多地关注融合合成孔径雷达（SAR）和多光谱数据以提高 LCZ 分类性能。然而，由于这两种数据类型的物理属性差异以及缺乏有效的融合指导，这仍然具有挑战性。本文提出了一种 novel 带瓶颕提示数据融合框架用于 LCZ 分类，称为 BP-LCZ，该框架利用与带组相关的文本提示来指导模型学习不同带组的物理属性以及不同类别在 SAR 和多光谱数据中固有的语义，从而增强融合特征，提高 LCZ 分类性能。具体而言，引入了带组提示（BGP）策略，在带组水平上有效地对视觉表示进行对齐，这也便于使用文本信息更充分地提取不同带组的语义信息。此外，提出了基于多变量监督矩阵（MSM）的训练策略，以通过完成监督信息来缓解正负样本混淆问题。实验结果表明，所提出的数据融合框架有效且优于现有方法。
引用
@article{arxiv.2412.18235,
title = {Band Prompting Aided SAR and Multi-Spectral Data Fusion Framework for Local Climate Zone Classification},
author = {Haiyan Lan and Shujun Li and Mingjie Xie and Xuanjia Zhao and Hongning Liu and Pengming Feng and Dongli Xu and Guangjun He and Jian Guan},
journal= {arXiv preprint arXiv:2412.18235},
year = {2024}
}
备注
Accepted by ICASSP 2025