基于互联融合的多模态高光谱图像分类
计算机视觉与模式识别
2023-04-04 v1 人工智能
摘要
现有的多模态融合方法，如拼接、求和以及基于编码器-解码器的融合，近来被用于结合高光谱图像（HSI）与激光雷达（LiDAR）的模态特征。然而，这些方法从有限视角考虑HSI-LiDAR信号的关系。更具体地，它们忽略了HSI与LiDAR跨模态的上下文信息以及LiDAR的模态内特征。本文中，我们为特征融合提供新视角，以全面探索HSI与LiDAR模态间的关系。提出一种互联融合（IF）框架。首先，提取HSI输入的中心块并复制至HSI输入尺寸。然后，通过计算复制中心块、HSI输入及对应LiDAR输入之间的自注意力与交叉注意力，生成融合矩阵中的九个不同视角。如此，模态内与模态间特征得以充分利用，且上下文信息在模态内与模态间两种方式下均被考虑。融合矩阵中这九个相互关联的元素可互补并消除偏差，从而精确生成用于分类的多模态表示。在三个广泛使用的数据集Trento、MUUFL与Houston上进行了充分实验。与现有方法相比，IF框架在这些数据集上取得了最先进（SOTA）的结果。
引用
@article{arxiv.2304.00495,
title = {Multimodal Hyperspectral Image Classification via Interconnected Fusion},
author = {Lu Huo and Jiahao Xia and Leijie Zhang and Haimin Zhang and Min Xu},
journal= {arXiv preprint arXiv:2304.00495},
year = {2023}
}
备注
11 pages, five figures