基于Transformer的异构显著图表示提升多模态遥感图像分类
计算机视觉与模式识别
2026-05-05 v3 图像与视频处理
摘要
不同模态采集的数据可提供丰富的互补信息，例如高光谱图像（HSI）提供丰富的光谱-空间特性，合成孔径雷达（SAR）提供地球表面的结构信息，以及光探测与测距（LiDAR）覆盖地面高程信息。因此，一个自然的想法是结合多模态图像以实现精细且准确的土地覆盖解译。尽管已有许多尝试实现多源遥感图像分类，仍存在以下三个问题：1）未充分考量模态异构性的无差别特征表示，2）建模长程依赖所带来的特征冗余与复杂计算，3）由稀疏标注样本引起的过拟合现象。为克服上述障碍，本文提出一种基于Transformer的异构显著图表示（THSGR）方法。首先，提出一种多模态异构图编码器，以从异构数据中区分性地编码非欧几里得结构特征。然后，设计一种无自注意力的多卷积调制器，用于有效且高效的长程依赖建模。最后，开发一种均值前向策略以避免过拟合。基于上述结构，所提模型能够突破模态鸿沟，以具竞争力的时空代价获得差异化图表示，即便仅使用极小比例训练样本。在三个基准数据集上与多种最先进（SOTA）方法的实验与分析显示了所提THSGR的性能。代码将发布于 https://github.com/jqyang22。
引用
@article{arxiv.2311.10320,
title = {Boosting Multimodal Remote Sensing Image Classification with Transformer-based Heterogeneously Salient Graph Representation},
author = {Jiaqi Yang and Bo Du and Rong Liu and Zhu Mao and Liangpei Zhang},
journal= {arXiv preprint arXiv:2311.10320},
year = {2026}
}